分片集群是啥

简单来说，就是把数据分散存储在多个Redis节点上。比如你有100GB数据，单机搞不定，那就分成10个节点，每个节点存10GB，多简单。

# 连接Redis分片集群示例
from redis.cluster import RedisCluster

nodes = [
    {"host": "192.168.1.101", "port": 7001},
    {"host": "192.168.1.102", "port": 7002},
    {"host": "192.168.1.103", "port": 7003}
]

cluster = RedisCluster(startup_nodes=nodes, decode_responses=True)

快速部署大法

搭建集群不用慌，Redis官方给力工具redis-cli就能搞定：

# 启动3个主节点
redis-server 7001/redis.conf
redis-server 7002/redis.conf
redis-server 7003/redis.conf

# 创建集群
redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003

温馨提示：配置文件里必须打开cluster-enabled yes，不然集群模式启动不了，我第一次就在这栽了跟头。

数据分片原理

Redis用哈希槽（Hash Slots）来分配数据，一共16384个槽。神奇吧？这数字看着怪怪的，其实是2^14，二进制计算起来贼快。

# 计算key属于哪个槽
def get_slot(key):
    # CRC16算法计算hash值
    hash = crc16(key)
    # 取模得到槽号
    return hash % 16384

# 实际使用时Redis自动帮我们处理
cluster.set('name', 'python')  # Redis自动将key路由到对应节点

主从复制保平安

光分片还不够，得给每个分片配个小弟（从节点），主节点挂了小弟顶上：

# 每个主节点配一个从节点
redis-cli --cluster add-node 127.0.0.1:7004 127.0.0.1:7001 --cluster-slave
redis-cli --cluster add-node 127.0.0.1:7005 127.0.0.1:7002 --cluster-slave
redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7003 --cluster-slave

动态扩容有妙招

业务量上来了，三个节点不够用？加节点呗：

# 添加新节点
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7001

# 重新分片
redis-cli --cluster reshard 127.0.0.1:7001

温馨提示：扩容时Redis会自动迁移数据，但会占用一定网络带宽，建议在业务低峰期操作。

踩过的坑都是经验

讲真，部署分片集群时踩过不少坑：

内存不均衡：key分布不均匀，导致某些节点内存爆满。解决办法是用hash tag，强制相关key落在同一个槽里。

# 使用hash tag确保相关key在同一个节点
cluster.set('{user}:name', 'python')
cluster.set('{user}:age', '18')

网络分区：机房之间网络抖动，导致集群脑裂。配置cluster-node-timeout值要谨慎，太短容易误判，太长故障恢复慢。
批量操作限制：Pipeline在集群模式下只能操作相同槽的key。

# 错误示范
pipe = cluster.pipeline()
pipe.set('key1', 'value1')  # 可能在7001节点
pipe.set('key2', 'value2')  # 可能在7002节点
pipe.execute()  # 报错！

# 正确姿势
pipe = cluster.pipeline(target_nodes='master')  # 指定只在主节点执行

分片集群看着挺吓人，配好了就是条好狗。我在字节的业务中，用这套方案轻松扛住了每秒10万个请求，关键是横向扩展容易，妥妥的性能利器。

记住一点，技术是用来解决问题的。分片集群不是越多越好，而是要根据实际需求来规划。小数据量用单机够了，硬要上集群反而把简单问题搞复杂了。

卡飞资源网

专业编程技术资源共享平台

阿里P8揭秘:Redis分片集群部署，扩展性提升1800%!