详解三分钟快速搭建分布式高可用的Redis集群
这里的Redis集群指的是Redis Cluster，它是Redis在3.0版本正式推出的专用集群方案，有效地解决了Redis分布式方面的需求。当单机内存、并发、流量等遇到瓶颈的时候，可以采用这种Redis Cluster方案进行解决。
分区规则
Redis Cluster采用虚拟槽（slot）进行数据分区，即使用分散度良好的哈希函数把所有键映射到一个固定范围的整数集合里，这里的整数就是槽（slot）。Redis Cluster槽的范围是0~16383，计算公式：slot=CRC16(key) & 16383。
白嫖小贴士：CRC16是一种高质量的哈希算法，可以使每个槽所映射的键通常比较均匀。
当集群中有3个节点时，每个节点平均大概负责5461个槽以及槽所映射的键值数据。这样一来，可以解耦数据与节点之间的关系，简化节点扩容和缩容的难度。节点自身维护槽的映射关系，不需要客户端或代理服务维护分区信息。
不过，Redis Cluster相对于单机还是存在一些限制的，比如：
- 批量操作键支持有限，仅支持具有相同槽的键进行批量操作。
- 事务操作键支持有限，仅支持在同一个节点上多个键的事务操作。
- 不支持多个数据空间。单机Redis可以支持16个数据库，而Cluster模式下只能使用一个数据库空间。
扯了这么多Redis Cluster的分区规则，下面我们开始步入正题。
手动搭建
把Redis Cluster搭建起来总共几步？答：三步！第一步把冰箱门打开。第二步把大象关进去。第三步把冰箱门带上。不好意思，段子暴露年龄了。集群搭建需要以下三个步骤：
- 准备节点。
- 节点握手。
- 分配槽。
Redis Cluster由多个节点组成，节点数量至少有6个才能组成一个完整高可用的集群，其中有3个主节点和3个从节点，我们就以此为例搭建一个Redis Cluster。
准备节点
首先，为6个节点（同一台机器上的6380、6381、6382、6383、6384、6385端口）分别创建配置文件，以6380端口的节点为例：
# 节点端口 port 6380 #日志文件 logfile "log/redis-6380.log" # 开启集群模式 cluster-enabled yes # 集群配置文件 cluster-config-file "data/nodes-6380.conf"
保持文件名为redis-6380.conf，其他节点的配置文件替换成各自的端口。准备好配置文件后启动所有节点，命令如下：
src/redis-server conf/redis-6380.conf & src/redis-server conf/redis-6381.conf & src/redis-server conf/redis-6382.conf & src/redis-server conf/redis-6383.conf & src/redis-server conf/redis-6384.conf & src/redis-server conf/redis-6385.conf &
检测日志是否正确，以下是6380端口的节点的日志：
# oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo # Redis version=4.0.14, bits=64, commit=00000000, modified=0, pid=3031, just started # Configuration loaded * No cluster configuration found, I'm df1ac987f47dea35f1d0a83c3b405f0ef86892ab * Running mode=cluster, port=6380.
6380端口的节点启动成功，第一次启动时如果没有集群配置文件，Redis会自动创建一个。6380端口的节点创建的集群配置文件如下：
df1ac987f47dea35f1d0a83c3b405f0ef86892ab :0@0 myself,master - 0 0 0 connected vars currentEpoch 0 lastVoteEpoch 0
集群文件中记录的集群的状态，这里最重要的是节点ID，它是一个40位的16进制字符串，用于唯一标识集群中的这个节点。同样，也可以通过cluster nodes命令查看集群节点状态。比如在6380端口的节点上执行命令：
127.0.0.1:6380> cluster nodes df1ac987f47dea35f1d0a83c3b405f0ef86892ab :6380@16380 myself,master - 0 0 0 connected
目前，我们已经成功启动了6个节点，但是它们只能识别自己的节点信息，互相之间并不认识。下面我们通过节点握手让这6个节点互相之间建立联系从而组成一个集群。
节点握手
节点握手是一些运行在集群模式下的节点通过Gossip协议互相通信，达到感知彼此的过程。
白嫖小贴士：Gossip协议是基于流行病传播方式的节点或者进程之间信息交换的协议，在分布式系统中被广泛使用。
节点握手通过客户端执行cluster meet命令实现，它是一个异步命令，执行之后立刻返回，在Redis内部异步发起与目标节点的握手通信，该命令的语法如下：
cluster meet 目标节点IP 目标节点端口
把6个节点加到一个集群中：
127.0.0.1:6380> cluster meet 127.0.0.1 6381 OK 127.0.0.1:6380> cluster meet 127.0.0.1 6382 OK 127.0.0.1:6380> cluster meet 127.0.0.1 6383 OK 127.0.0.1:6380> cluster meet 127.0.0.1 6384 OK 127.0.0.1:6380> cluster meet 127.0.0.1 6385 OK
只需要在集群中任意节点上执行cluster meet命令加入新的节点，握手状态会通过消息在集群中传播，其他节点也会自动发现新节点并与之发起握手流程。
我们再执行一下cluster nodes命令，检查一下6个节点是否已经组成集群：
127.0.0.1:6380> cluster nodes 1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586617919021 5 connected df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586617916000 2 connected 5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586617917005 1 connected a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586617914988 4 connected 71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586617918013 3 connected e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586617916000 0 connected
可以看到，6个节点都在集群中了。不过，此时因为还没有为集群中的节点分配槽，集群还处于下线状态，所有的数据读写都是被禁止的。比如：
127.0.0.1:6380> set onemore study (error) CLUSTERDOWN Hash slot not served
接下来，我们为集群中的节点分配槽。
分配槽
我们把6380、6382、6384端口的节点作为主节点，负责处理槽和相关数据；6381、6383、6385端口的节点分别作为从节点，负责故障转移。先把16384个槽平均分配给6380、6382、6384端口的节点，为节点分配槽是通过cluster addslots命令实现：
# ./redis-cli -h 127.0.0.1 -p 6380 cluster addslots {0..5461}
OK
# ./redis-cli -h 127.0.0.1 -p 6382 cluster addslots {5462..10922}
OK
# ./redis-cli -h 127.0.0.1 -p 6384 cluster addslots {10923..16383}
OK
我们再执行一下cluster nodes命令，检查一下槽是否已经分配：
127.0.0.1:6380> cluster nodes 1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586619468000 5 connected df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586619464000 2 connected 0-5461 5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586619467000 1 connected a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586619467000 4 connected 10923-16383 71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586619467348 3 connected e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586619468355 0 connected 5462-10922
再使用cluster replicate命令把一个节点变成从节点.，这个命令必须在从节点上运行，它的语法是：
cluster replicate 主节点ID
把6381、6383、6385端口的节点变成对应6380、6382、6384端口的节点的从节点：
# ./redis-cli -h 127.0.0.1 -p 6381 127.0.0.1:6381> cluster replicate df1ac987f47dea35f1d0a83c3b405f0ef86892ab OK 127.0.0.1:6381> exit # ./redis-cli -h 127.0.0.1 -p 6383 127.0.0.1:6383> cluster replicate e25590603c7a254cce43aa8437861c5c425d753d OK 127.0.0.1:6383> exit # ./redis-cli -h 127.0.0.1 -p 6385 127.0.0.1:6385> cluster replicate a435cf98c3444b0b110a224401e397a107c453ef OK 127.0.0.1:6385> exit
我们再执行一下cluster nodes命令，检查一下集群状态和主从关系：
127.0.0.1:6380> cluster nodes df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586620148000 2 connected 0-5461 5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 slave df1ac987f47dea35f1d0a83c3b405f0ef86892ab 0 1586620150000 2 connected e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586620151000 0 connected 5462-10922 71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 slave e25590603c7a254cce43aa8437861c5c425d753d 0 1586620152220 3 connected a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586620150000 4 connected 10923-16383 1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 slave a435cf98c3444b0b110a224401e397a107c453ef 0 1586620149000 5 connected
自此，RedisCluster已经手动搭建完成。手动搭建可以理解集群建立的流程和细节，不过大家也会发现手动搭建有很多步骤，当集群的节点比较多的时候，肯定会让人头大。所以Redis官方提供了redis-trib.rb工具，可以让我们快速地搭建集群。
自动搭建
redis-trib.rb是使用Ruby开发的Redis Cluster的管理工具，不需要额外下载，默认位于源码包的src目录下，但因为该工具是用Ruby开发的，所以需要准备相关的依赖环境。
环境准备
安装Ruby：
yum -y install zlib-devel wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz tar xvf ruby-2.5.1.tar.gz cd ruby-2.5.1/ ./configure -prefix=/usr/local/ruby make make install cd /usr/local/ruby/ cp bin/ruby /usr/local/bin cp bin/gem /usr/local/bin
安装rubygem redis依赖：
wget http://rubygems.org/downloads/redis-3.3.0.gem gem install -l redis-3.3.0.gem
安装redis-trib.rb：
cp src/redis-trib.rb /usr/local/bin
执行redis-trib.rb命令确认一下环境是否准备正确：
# redis-trib.rb help
Usage: redis-trib <command> <options> <arguments ...>
create host1:port1 ... hostN:portN
--replicas <arg>
check host:port
info host:port
fix host:port
--timeout <arg>
reshard host:port
--from <arg>
...此处省略一万个字...
搭建集群
像前面的内容讲的，准备好节点配置并启动：
src/redis-server conf/redis-7380.conf & src/redis-server conf/redis-7381.conf & src/redis-server conf/redis-7382.conf & src/redis-server conf/redis-7383.conf & src/redis-server conf/redis-7384.conf & src/redis-server conf/redis-7385.conf &
使用redis-trib.rb create命令完成节点握手和槽分配的工作，命令如下：
redis-trib.rb create --replicas 1 127.0.0.1:7380 127.0.0.1:7382 127.0.0.1:7384 127.0.0.1:7381 127.0.0.1:7383 127.0.0.1:7385
其中--replicas参数用来指定集群中每个主节点有几个从节点，这里设置的是1。命令执行后，会首先给出主从节点的分配计划：
>>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 127.0.0.1:7380 127.0.0.1:7382 127.0.0.1:7384 Adding replica 127.0.0.1:7383 to 127.0.0.1:7380 Adding replica 127.0.0.1:7385 to 127.0.0.1:7382 Adding replica 127.0.0.1:7381 to 127.0.0.1:7384 >>> Trying to optimize slaves allocation for anti-affinity [WARNING] Some slaves are in the same host as their master M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380 slots:0-5460 (5461 slots) master M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382 slots:5461-10922 (5462 slots) master M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384 slots:10923-16383 (5461 slots) master S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381 replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383 replicates c25675d021c377c91f860986025e3779d89ede79 S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385 replicates 58980a81b49de31383802d7d21d6782881678922 Can I set the above configuration? (type 'yes' to accept):
如果我们同意这份计划就输入yes，之后就会开始执行节点握手和槽分配，输入如下：
>>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join.... >>> Performing Cluster Check (using node 127.0.0.1:7380) M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380 slots:0-5460 (5461 slots) master 1 additional replica(s) M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382 slots:5461-10922 (5462 slots) master 1 additional replica(s) S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385 slots: (0 slots) slave replicates 58980a81b49de31383802d7d21d6782881678922 S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383 slots: (0 slots) slave replicates c25675d021c377c91f860986025e3779d89ede79 S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381 slots: (0 slots) slave replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384 slots:10923-16383 (5461 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
集群创建完成后，还可以使用redis-trib.rb check命令检查集群是否创建成功，具体命令如下：
# redis-trib.rb check 127.0.0.1:7380 >>> Performing Cluster Check (using node 127.0.0.1:7380) M: c25675d021c377c91f860986025e3779d89ede79 127.0.0.1:7380 slots:0-5460 (5461 slots) master 1 additional replica(s) M: 58980a81b49de31383802d7d21d6782881678922 127.0.0.1:7382 slots:5461-10922 (5462 slots) master 1 additional replica(s) S: 2cf3883e974a709b7070d6c4d7c528d9fa813358 127.0.0.1:7385 slots: (0 slots) slave replicates 58980a81b49de31383802d7d21d6782881678922 S: 03e01f82a935ed7f977af092e6a9cb71057df68a 127.0.0.1:7383 slots: (0 slots) slave replicates c25675d021c377c91f860986025e3779d89ede79 S: 6f7dd93973a8332305831e6b7b5e2c54c15b3b51 127.0.0.1:7381 slots: (0 slots) slave replicates 3f00a37d2c7a5ea40671c8f2934f66d059157a4a M: 3f00a37d2c7a5ea40671c8f2934f66d059157a4a 127.0.0.1:7384 slots:10923-16383 (5461 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
可以看到，所有的槽都已分配到节点上，大功告成！
到此这篇关于详解三分钟快速搭建分布式高可用的Redis集群的文章就介绍到这了,更多相关Redis搭建分布式高可用集群内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
- 这篇文章主要介绍了详解如何清理redis集群的所有数据，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-18
- 这篇文章主要介绍了Redis连接池配置及初始化实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-29
详解redis desktop manager安装及连接方式
这篇文章主要介绍了redis desktop manager安装及连接方式，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-15- 这篇文章主要介绍了浅谈redis key值内存消耗以及性能影响，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-07
- 最近在工作中遇到了一个问题，通过查找相关资料才得知原因是因为返回结果的问题，下面这篇文章主要给大家介绍了关于lua读取redis数据的null判断的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下...2020-06-30
- 这篇文章主要介绍了SpringBoot集成Redis实现消息队列的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-10
redis setIfAbsent和setnx的区别与使用说明
这篇文章主要介绍了redis setIfAbsent和setnx的区别与使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-08-04- 这篇文章主要介绍了Redis的Expire与Setex区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-15
- Redis 是一个开源、高性能的Key-Value数据库，被广泛应用在服务器各种场景中。本文介绍几个查看Redis内存信息的命令，包括常用的info memory、info keyspace、bigkeys等。...2021-01-15
- 在本篇文章里小编给大家整理的是关于Redis的持久化方案详解，有兴趣的朋友们可以参考下。...2021-01-15
JAVA中 redisTemplate 和 jedis的配合使用操作
这篇文章主要介绍了JAVA中 redisTemplate 和 jedis的配合使用操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13- 这篇文章主要介绍了@CacheEvict + redis实现批量删除缓存方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-10-12
- 这篇文章主要介绍了redis 交集、并集、差集的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-23
解决redisTemplate中leftPushAll隐性bug的问题
这篇文章主要介绍了解决redisTemplate中leftPushAll隐性bug的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-13- 这篇文章主要介绍了Redis集群水平扩展、集群中添加以及删除节点的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-25
- 这篇文章主要介绍了Redis开启远程访问及密码的教程，文中给大家提到了Redis启动报错解决方法,需要的朋友可以参考下...2021-01-15
- 这篇文章主要给大家介绍了关于如何利用Redis如何实现自动补全功能的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧...2020-04-17
- pipeline 只是把多个redis指令一起发出去，redis并没有保证这些指定的执行是原子的；multi相当于一个redis的transaction的，保证整个操作的原子性，避免由于中途出错而导致最后产生的数据不一致。本文详细的介绍，感兴趣的可以了解一下...2021-06-02
springboot +redis 实现点赞、浏览、收藏、评论等数量的增减操作
这篇文章主要介绍了springboot +redis 实现点赞、浏览、收藏、评论等数量的增减操作，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-01-15- 这篇文章主要介绍了使用Redis获取数据转json,解决动态泛型传参的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-15