RabbitMQ集群创建

环境：

OS：CentOS6.75

RabbitMQ Vervison ：3.6.5

节点：

node1 ： mq01  172.16.42.128

node2：  mq02  172.16.42.135

配置：

1、两台机器上都安装RabbitMQ

这里的安装包括socat、Erlang、rabbitmq-server包的安装，已经环境变量和config文件的配置，请参考RabbitMQ安装，先不要急着创建用户、虚拟主机和配置权限。这些等集群创建好了再做

2、配置hosts文件

mq01

[root@mq01 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.42.128 mq01
172.16.42.135 mq02

mq02

[root@mq01 ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.42.128 mq01
172.16.42.135 mq02

3、拷贝erlang.cookie  

Rabbitmq的集群是依附于erlang的集群来工作的,所以必须先构建起erlang的集群景象。Erlang的集群中各节点是经由过程一个magic cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie 中(像我的root用户安装的就是放在我的root/.erlang.cookie中),文件是400的权限。所以必须包管各节点cookie对峙一致,不然节点之间就无法通信。

[root@mq01 ~]# cat /var/lib/rabbitmq/.erlang.cookie 
FNMCAWWQGOJIQKDJQUQG

将cookie中的内容复制到mq02的cookie文件中。

4、启动rabbitmq服务

/etc/init.d/rabbitmq-server start

在node2 mq02上停止rabbitmq应用程序，并重置（重置只是清除节点的配置，如果没有配置过，则可以省略），然后加入node1集群

[root@mq02 rabbitmq]# rabbitmqctl stop_app
Stopping node rabbit@mq02 ...

reset节点

rabbitmqctl reset

[root@mq02 rabbitmq]# rabbitmqctl reset
Resetting node rabbit@mq02 ...

5、加入集群

rabbitmqctl join_cluster rabbit@mq01

[root@mq02 ~]# rabbitmqctl join_cluster rabbit@mq01 
Clustering node rabbit@mq02 with rabbit@mq01 ...

启动rabbitmq应用

[root@mq02 ~]# rabbitmqctl start_app
Starting node rabbit@mq02 ...

6、查看集群状态

node2上查看集群状态

rabbitmqctl cluster_status

[root@mq02 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq02 ...
[{nodes,[{disc,[rabbit@mq01,rabbit@mq02]}]},
 {running_nodes,[rabbit@mq01,rabbit@mq02]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]},{rabbit@mq02,[]}]}]

node1上查看集群状态

[root@mq01 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq01 ...
[{nodes,[{disc,[rabbit@mq01,rabbit@mq02]}]},
 {running_nodes,[rabbit@mq02,rabbit@mq01]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq02,[]},{rabbit@mq01,[]}]}]

7、更改节点类型

节点有两种类型：磁盘节点和内存节点，集群中必须至少有一个磁盘节点，否则队列元数据无法写入到集群中，当磁盘节点宕掉时，集群将无法写入新的队列元数据信息。

从上面集群状态可以看出，mq01和mq02 均为磁盘节点，可以通过命令

rabbitmqctl change_cluster_node_type disc

将mq02更改为内存节点

[root@mq02 ~]# rabbitmqctl stop_app
Stopping node rabbit@mq02 ...
[root@mq02 ~]#  rabbitmqctl change_cluster_node_type ram
Turning rabbit@mq02 into a ram node ...
[root@mq02 ~]# rabbitmqctl start_app                    
Starting node rabbit@mq02 ...
[root@mq02 ~]# rabbitmqctl cluster_status               
Cluster status of node rabbit@mq02 ...
[{nodes,[{disc,[rabbit@mq01]},{ram,[rabbit@mq02]}]},
 {running_nodes,[rabbit@mq01,rabbit@mq02]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]},{rabbit@mq02,[]}]}]

也可以在将mq02 加入集群只带上--ram参数，即设置mq02为内存节点.

注意：更改节点类型前，必须将节点rabbitmq应用停掉。

8、验证节点crash后又恢复时，是否能自动加入集群

将node2 mq02 服务停掉，在node1上查看集群状态

[root@mq02 ~]# rabbitmqctl stop
Stopping and halting node rabbit@mq02 ...

node1 上查看集群状态

[root@mq01 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq01 ...
[{nodes,[{disc,[rabbit@mq01]},{ram,[rabbit@mq02]}]},
 {running_nodes,[rabbit@mq01]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]}]}]

从上面可以看到running_nodes 只有node1了

启动node2的服务

[root@mq02 ~]# /etc/init.d/rabbitmq-server start
Starting rabbitmq-server: SUCCESS
rabbitmq-server.

再来查看两台机器集群状态

[root@mq01 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq01 ...
[{nodes,[{disc,[rabbit@mq01]},{ram,[rabbit@mq02]}]},
 {running_nodes,[rabbit@mq02,rabbit@mq01]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq02,[]},{rabbit@mq01,[]}]}]

[root@mq02 ~]# rabbitmqctl cluster_status       
Cluster status of node rabbit@mq02 ...
[{nodes,[{disc,[rabbit@mq01]},{ram,[rabbit@mq02]}]},
 {running_nodes,[rabbit@mq01,rabbit@mq02]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]},{rabbit@mq02,[]}]}]

9、当磁盘节点挂了时

将node1erlang虚拟机停掉

[root@mq01 ~]# rabbitmqctl stop

Stopping and halting node rabbit@mq01 ...

登录rabbitmq web管理控制台，创建新的队列，报错

恢复node1 erlang虚拟机服务

[root@mq01 ~]# /etc/init.d/rabbitmq-server start

Starting rabbitmq-server: SUCCESS

rabbitmq-server.

重新创建队列，成功

10、当磁盘节点挂了时

将node2 erlang虚拟机停掉

[root@mq02 ~]# rabbitmqctl stop

Stopping and halting node rabbit@mq02 ...

登录node1的web管理控制台，创建新的队列，成功

总结 ：

结合9 和10 的测试来看，集群中没有没有磁盘节点，那么集群不能创建新的队列元数据，但是仍能继续工作，如果内存几点挂了，则集群不受影响，这也是为什么集群中至少要有一个磁盘节点的原因，单个节点不能设置为内存节点。

11、集群镜像模式

上面的集群模式为普通模式，镜像模式实在普通模式的基础之上加一些策略。 其实质和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在consumer取数据时临时拉取。该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉。所以在对可靠性要求较高的场合中适用，一个队列想做成镜像队列，需要先设置policy，然后客户端创建队列的时候，rabbitmq集群根据“队列名称”自动设置是普通集群模式或镜像队列。具体如下：

队列通过策略来使能镜像。策略能在任何时刻改变，rabbitmq队列也近可能的将队列随着策略变化而变化；非镜像队列和镜像队列之间是有区别的，前者缺乏额外的镜像基础设施，没有任何slave，因此会运行得更快。为了使队列称为镜像队列，你将会创建一个策略来匹配队列，设置策略有两个键“ha-mode和 ha-params（可选）”。ha-params根据ha-mode设置不同的值，下面表格说明这些key的选项：

语法讲解：

在cluster中任意节点启用策略，策略会自动同步到集群节点 
rabbitmqctl set_policy -p hrsystem ha-allqueue"^" '{"ha-mode":"all"}'
这行命令在vhost名称为hrsystem创建了一个策略，策略名称为ha-allqueue,策略模式为 all 即复制到所有节点，包含新增节点，策略正则表达式为 “^” 表示所有匹配所有队列名称。
例如rabbitmqctl set_policy -p hrsystem ha-allqueue "^message" '{"ha-mode":"all"}'
注意："^message" 这个规则要根据自己修改，这个是指同步"message"开头的队列名称，我们配置时使用的应用于所有队列，所以表达式为"^"
官方set_policy说明参见
set_policy [-p vhostpath] {name} {pattern} {definition} [priority]
（http://www.rabbitmq.com/man/rabbitmqctl.1.man.html）

创建策略

set_policy [-p vhostpath] {name} {pattern} {definition} [priority]

[root@mq02 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{\"ha-mode\":\"all\"}" with priority "0" ...

查看策略：

[root@mq01 ~]# rabbitmqctl list_policies
Listing policies ...
/       ha-all  all     ^       {"ha-mode":"all"}       0

注意：前面创建策略时没有指定vhost，则对默认的/ 虚拟主机创建策略

12、将节点移出集群

将节点node2 移出集群前，先要stop_app，人后reset节点。

[root@mq02 ~]# rabbitmqctl stop_app
Stopping node rabbit@mq02 ...
[root@mq02 ~]# rabbitmqctl reset
Resetting node rabbit@mq02 ...
[root@mq02 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq02 ...
[{nodes,[{disc,[rabbit@mq02]}]},{alarms,[]}]

node1上查看集群状态

[root@mq01 ~]# rabbitmqctl cluster_status       
Cluster status of node rabbit@mq01 ...
[{nodes,[{disc,[rabbit@mq01]}]},
 {running_nodes,[rabbit@mq01]},
 {cluster_name,<<"rabbit@mq01">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]}]}]

查看策略，仍然存在。

[root@mq01 ~]# rabbitmqctl list_policies 
Listing policies ...
/       ha-all  all     ^       {"ha-mode":"all"}       0

移除远程offline的节点

rabbitmqctl forget_cluster_node rabbit@mq02

上面的方法是在节点本地执行命令，将节点从集群中删除，但是如果节点出现故障，连不上节点时，就无法用这种方式删除节点了，我们可以从远程节点删除该节点

注意：必须是远程节点offline时，才能执行执行此命令删除节点。否则报错

1、在node2 上停掉rabbitmq应用

[root@mq02 ~]# rabbitmqctl stop_app
Stopping node rabbit@mq02 ...

2、在node1上执行删除节点命令，然后查看集群状态

[root@mq01 ~]# rabbitmqctl forget_cluster_node rabbit@mq02
Removing node rabbit@mq02 from cluster ...
[root@mq01 ~]# rabbitmqctl cluster_status   
Cluster status of node rabbit@mq01 ...
[{nodes,[{disc,[rabbit@mq01]}]},
 {running_nodes,[rabbit@mq01]},
 {cluster_name,<<"my_cluster">>},
 {partitions,[]},
 {alarms,[{rabbit@mq01,[]}]}]

13、集群上创建账号

rabbitmqctl add_user user_name

[root@mq02 ~]# rabbitmqctl add_user spms 123456
Creating user "spms" ...
[root@mq02 ~]# rabbitmqctl list_users
Listing users ...
spms    []
guest   [administrator]

[root@mq01 ~]# rabbitmqctl list_users
Listing users ...
spms    []
guest   [administrator]

可以看到，在任意节点上创建的账号，会同步到其他节点上

14、集群中创建vhost

rabbitmqctl add_vhost vhost_name

[root@mq01 ~]# rabbitmqctl add_vhost spms
Creating vhost "spms" ...
[root@mq01 ~]# rabbitmqctl list_vhosts
Listing vhosts ...
spms
/

[root@mq02 ~]# rabbitmqctl list_vhosts
Listing vhosts ...
spms
/

可以看到，在任意节点上创建的vhost，会同步到其他节点上

15、设置vhost权限

rabbitmqctl set_permissions -p vhost_name username conf write read

[root@mq02 ~]# rabbitmqctl set_permissions -p spms spms '.*' '.*' '.*'
Setting permissions for user "spms" in vhost "spms" ...
[root@mq02 ~]# rabbitmqctl list_permissions
Listing permissions in vhost "/" ...
guest   .*      .*      .*
[root@mq02 ~]# rabbitmqctl list_permissions -p spms
Listing permissions in vhost "spms" ...
spms    .*      .*      .*

[root@mq01 ~]#  rabbitmqctl list_permissions
Listing permissions in vhost "/" ...
guest   .*      .*      .*
[root@mq01 ~]#  rabbitmqctl list_permissions -p spms
Listing permissions in vhost "spms" ...
spms    .*      .*      .*

16、设置cluster_name

rabbitmqctl set_cluster_name cluster_name

[root@mq02 ~]# rabbitmqctl set_cluster_name my_cluster

Setting cluster name to my_cluster ...

[root@mq02 ~]# rabbitmqctl cluster_status

Cluster status of node rabbit@mq02 ...

[{nodes,[{disc,[rabbit@mq01,rabbit@mq02]}]},

{running_nodes,[rabbit@mq01,rabbit@mq02]},

{cluster_name,<<"my_cluster">>},

{partitions,[]},

{alarms,[{rabbit@mq01,[]},{rabbit@mq02,[]}]}]

参考链接： http://www.rabbitmq.com/man/rabbitmqctl.1.man.html

http://www.rabbitmq.com/clustering.html