Redis分布式系统

Redis分布式系统（Redis集群）很好的解决不同Redis节点存放不同数据，并将用户请求方便地路由到不同Redis的问题。

数据分区算法

分布式数据库系统会根据不同的数据分区算法，将数据分散存储到不同的服务器节点上，每个节点管理整个数据集合的一个子集。

常见的数据分区规则有两大类：顺序分区和哈希分区。

顺序分区

顺序分区是将数据按照某种顺序平均分配到不同的节点。

比如：轮询分区算法、时间片轮转分区算法、数据块分区算法、业务主题分区算法等。

轮询分区算法

每产生一个数据就依次分配的不同的节点。

该算法适合数据量不确定的场景。

在数据量庞大的情况下，每个节点的数据很平均。

但生产者与节点间的连接要长时间保存。

时间片轮转分区算法

在一个固定长度的时间片内，数据会分配到一个节点，时间片结束，新的数据就分配到下一个节点。

该算法可能会出现节点数据不平均的情况（每个时间片内产生的数据量不同）。

但生产者与节点间的连接只需一个正在使用的就行，使用完毕后释放连接。

数据块分区算法

在数据总量确定的情况下，根据各个节点的存储能力，将某块数据分配到一个节点。

业务主题分区算法

不同的业务主题，分配到不同节点。

哈希分区

哈希分区规则是充分利用数据的哈希值来完成分配，对数据哈希值的不同使用方式产生了不同的哈希分区算法。

常见的哈希分区算法如下：

节点取模哈希算法

该算法的前提是，每个节点都分配好了一个唯一序号，对于N个节点的分布式系统，序号范围是【0，N-1】.

然后选取数据本身作为key，计算hash（key）与节点N的模。计算结果就是该数据存储的节点的序号。

该算法优点是简单；缺点是如果分布式系统要扩容或缩容，已存的数据需要根据新的节点数据N进行数据迁移，否则根据key无法找到原来的数据。

实际上一般采用翻倍扩容方式，以减少扩容时数据迁移的比例。

一致性哈希分区算法

一致性哈希算法通过一致性hash环的数据结构实现。

环的起点是0，终点是232-1，并且起点和终点重合，环中间的整数按顺/逆时针分步。

上图中o1、o2、o3、o4代表待分配的数据，红色方框是这4个数据的hash（o）在hash环中的落点。

m0、m1、m2代表三个节点，绿色圆圈表示三个节点的hash（m）在hash环中的落点。

数据的hash（o）按照顺/逆时针方向离哪个hash（m）最近，就存在哪个节点上。

该算法的优点是节点扩容或缩容时，只对最近的节点有影响，其他节点无影响。

缺点是：容易形成数据倾斜。且节点变化影响的数据量大，所以不适合数据节点少的场景。

虚拟槽分区算法

该算法首先虚拟出一个固定数量的整数集合，集合中的每个数称为一个slot槽。

槽的数据一般远大于节点数量，然后将槽瓶平均映射到各个节点上。

例如Redis 分布式系统中虚拟了16384个槽，范围是【0，16383】.假设有3个节点，那么solt槽和节点的映射关系如下：

数据与槽有关系，和节点没关系。

数据通过hash（key）映射到槽：solt=hash（key）%soltNums。

该算法优点：解耦数据和节点，无需维护节点，只需维护与solt槽的关系。

Redis数据分区就是采用这个算法，计算公式为solt=CRC16%16384.

系统搭建

系统架构

一个master配一个slave。master和slave的关系在搭建成功后会自动分配。

删除持久化文件

先将之前Redis主从集群在Redis安装目录下生成的RDB文件dump638*.conf和AOF持久化文件删除。

因为Redis分布式系统要求创建在一个空的数据库之上。

AOF持久化文件全部上appendonlydir目录中。

然后再Redis安装目录中mkdir一个新目录 cluster-dis。

将cluster 目录中的redis.conf 和redis6380.conf文件复制到cluster-dis 目录。

修改redis.conf

1. dir

   指定工作目录为前面创建的cluster-dis目录。持久化文件、节点配置文件都在这个目录中生成。

   dir "/opt/apps/redis/cluster-dis"
   

2. cluster-enabled

   cluster-enabled yes  # 开启集群模式
   

3. cluster-config-file

   指定集群节点的配置文件，该文件会在每次节点启动时自动生成，其在dir属性指定的目录。

   该属性仍然保持注释，在后面的每个节点单独的配置文件中配置它。

4. cluster-node-timeout

   cluster-node-timeout 15000 # 指定集群节点间通信的超时阈值，单位毫秒
   

5. 修改redis6380.conf

5. 复制5个配置文件：redis6381.conf、redis6382.conf、redis6383.conf、redis6384.conf、redis6385.conf

将端口号全部换为对应的端口号。

系统的启动与关闭

1. 使用redis-server redis638*.conf 启动各个节点。此时在cluster-dis目录中生成了6个nodes的配置文件。

2. 这些节点启动后仍然时6个独立的Redis，通过redis-cli --cluster create 命令将6个节点创建成一个分布式系统。

   redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385
   

   当询问是，输入yes 即可创建完成。

3. 测试系统

   通过cluster nodes 命令可以查看各节点的关系及连接情况，只要看到每个节点的connected，说明系统搭建成功。对于命令redis-cli 需要注意：

   • redis-cli 带有参数-c 表示要连接的是一个集群，而不是一个节点
   • 端口号可以使用6个中的任意一个。

4. 关系系统：将各个节点shutdown 即可。

   redis-cli -p 5380 shutdown
   

集群操作

1. 先连接集群

   redis-cli -c -p 6380
   

2. 写入数据：单个key写入没有问题，一次写入多个key会报错。

   当批量写入多个key时，由于多个key会计算出多个solt。多个solt可能会对应多个节点，而一次只能写入一个节点，所有该操作会报错。

   不过，系统提供了批量写入多个key的方案，为这些key指定一个统一的group，让这个group 作为计算slot的唯一值。

   mset name{emp} ali age{emp} 22
   

集群查询

1. 查询key的slot：通过cluser keyslot 查询指定key的slot

   cluster keyslot emp # 查询emp的slot
   

2. 查询slot中key的数量：通过cluster countkeyinslot 查询指定slot中包含key的个数

   cluster countkeyinslot 13178
   

3. 查询slot中的key：通过cluster getkeysinslot 查询指定slot中包含的key

   cluster getkeysinslot 13178
   

故障转移

分布式系统中某个master如果宕机，那么对应的slave就会自动晋升为master，如果原master又重新启动，那么原master会自动变为新master的slave。

全覆盖需求

如果某slot范围对应的节点全部宕机，那么分布式系统是否还可以对外提供服务，取决于属性cluster-require-full-coverage的设置。

该属性的取值有：

• yes：默认值，要求所有slot节点必须全覆盖的情况下系统才能运行。
• no：slot节点不全的情况下系统也可以提供查询服务。

集群扩容

这里新增两个新节点：端口号为6386的master和端口号为6387的slave节点。

1. 复制并修改两个配置文件。

   使用redis6380.conf 复制出redis6386.conf 、redis6387.conf ，并修改端口号。

2. 启动这两个节点。

   在这里先启动分布式系统，执行下列命令

   ./start-redis-cluster.sh
   

   启动这两个新节点后，他们还是孤立节点，和其他节点没有任何关系。

3. 添加master节点

   redis-cli -c --cluster add-node 127.0.0.1:6386 127.0.0.1:6380
   

   通过命令redis-cli -c --cluster add-node {newHost}:{newPort} {existHost}:{existPort}将新节点加入到系统中，其中{newHost}:{newPort} 是新节点的地址，{existHost}:{existPort} 是原系统中任意节点地址。

   添加完成后，此时新master还没有对应的slot。

4. 分配slot。

   由于slot数量不变，所以slot分配本质就是一个slot的移动过程。

   通过redis-cli -c --cluster reshard {existHost}:{existPort}命令开启slot分配流程。{existHost}:{existPort} 为分布式系统中的任意节点地址。

该流程会先查询当前节点的slot的分配情况。

然后开始Q&A交互。一共询问了四个问题，这里有三个：

• 准备移动多少slot？

• 谁来接收移动的slot

• 选择要移动slot的源节点。这里有以下两种方案：

  1.选择键入all，表示所有已存在的slot的节点都作为源节点，将slot进行全局大分配。
  2.选择其他部分节点作为slot源节点。将源节点的动态ID复制到这里，每个ID键入完毕后回车，然后再键入下一个源节点ID，直到最后一个键入完毕后再键入done。
  

  这里键入的是all。进行全局大分配。

  其会先检测指定的slot源节点的数据，然后指定出reshard方案。

 这里会再进行一次Q&A交互，询问是否继续处理推荐的方案。键入yes。开始真正的全局分配，直至完成。

 此时master节点新增完成。

5. 添加slave节点。

   先启动这个节点。

   执行命令redis-cli -c --cluster add-node {newHost}:{newPort} {existHost}:{existPort} --cluster-slave --cluster-master-id masterID 将新节点指定为master的slave。

此时通过redis-cli -c -p 6386 cluster nodes 命令看到其已添加成功。

集群缩容

这里将slave节点6387和master节点6386从系统中删除。

1. 删除slave节点

   执行redis-cli --cluster del-node <delHost>:<dePort> delNodeId 命令删除。

2. 移出master的slot

   在删除一个master之前，保证该master没有分配的slot。否则无法删除。

   执行redis-cli -c --cluster reshard 127.0.0.1:6380

   可以看到6386有1999个slot，所以键入1999，然后键入要接收的master节点的id，

   然后键入6386节点（源节点）的id，然后键入done，然后键入yes，此时slot移出完成。

3. 删除master节点

   执行redis-cli --cluster del-node <delHost>:<dePort> delNodeId 命令删除。

   此时删除完成。

分布式系统的限制

• 仅支持0号数据库
• 批量操作key有限制
• 分区仅限于key
• 事务支持有限
• 不支持分级管理