高计算性能redis集群方案

背景

为更好的支撑数据对账功能的实现，复用redis的数据集合diff功能，对redis集群进行如下调整和优化。

节点变化

采用redis-cluster模式搭建六个主节点的集群(三台虚拟机，每台共64G内存)，每个节点分配内存20 G，集群总内存120G，CPU XX 核。由于该集群只用于数据的计算，对于读写分离的需求可忽略不计，所以不需要建设从节点。

参数调整

如果集群发生异常，只需要程序重新写入即可，无需要恢复原有数据等内容，为了保证集群使用率最高，将持久化的AOF和RDF模式均改为关闭状态。如此一来，原单个redis节点最多使用内存为该机器的50%即可忽略，理论上可以提高到该机器的95%内存使用率。

代码编写

对两个集合进行差异化对比操作，传统的代码编写方式为

对于上述操作，可以将助lua脚本上传到redis服务器，让它在redis服务器上执行。因为脚本读写数据都是在服务器的本地内存，所以执行很高效。使用lua脚本来执行redis命令，有两个好处，也可以说是使用它的出发点：

高效。由于lua在服务器本地执行，省去了数据在网络上传输的开销。例如，将两个set求交集后的结果保存到新的set。

原子性。整个lua脚本和普通的单个redis命令一样，具有原子性。如果逻辑比较复杂，需要使用多条redis命令完成，而且又需要保证整个逻辑的原子性。lua脚本是不二选择。（与数据库事务的原子性不同，lua脚本不会回滚出错之前的写入）

参照：https://zhuanlan.zhihu.com/p/630484173