redis中的map存储大量数据会有什么问题
Map{Key,filed,Value}
在redis集群中,是对Key做的hash,也就是说同一个key下的不同的field会落到集群中的某一个实例上,这时,如果这个key对应的field过多,导致数据不均匀。
针对上述情况,可以对数据进行partition,步骤如下:
1.提前设置好partition的数量N
2.对filed进行hash处理,得到hashcode
3.使用hashcode%N,得到一个partition值
4.将Key和partition合并生成key,KeyWithPartition
5.将数据存入该KeyWithPartition下面
这样可以将数据设置的均匀一些。
缺点:这样会增加key的数量,但是,这个影响应该不大。
在redis集群中,是对Key做的hash,也就是说同一个key下的不同的field会落到集群中的某一个实例上,这时,如果这个key对应的field过多,导致数据不均匀。
针对上述情况,可以对数据进行partition,步骤如下:
1.提前设置好partition的数量N
2.对filed进行hash处理,得到hashcode
3.使用hashcode%N,得到一个partition值
4.将Key和partition合并生成key,KeyWithPartition
5.将数据存入该KeyWithPartition下面
这样可以将数据设置的均匀一些。
缺点:这样会增加key的数量,但是,这个影响应该不大。
声明:该文观点仅代表作者本人,入门客AI创业平台信息发布平台仅提供信息存储空间服务,如有疑问请联系rumenke@qq.com。