安徽法制建设网站,肥城市住房和城乡建设局网站,制作一个个人网站,网站建设xiduyun环境要求
64位操作系统#xff0c;推荐 Linux/Unix/macOS
64位 JDK 1.8
服务器准备
准备4台服务器两台master两台slave#xff0c;如果服务器紧凑#xff0c;则至少需要两台服务器相互master-slave IP HOSTS 172.*******.120 rocketmq-nameserver1 rocketmq-master1 …环境要求
64位操作系统推荐 Linux/Unix/macOS
64位 JDK 1.8
服务器准备
准备4台服务器两台master两台slave如果服务器紧凑则至少需要两台服务器相互master-slave IP HOSTS 172.*******.120 rocketmq-nameserver1 rocketmq-master1 rocketmq-master-salve2 172.*******.142 rocketmq-nameserver2 rocketmq-master2 rocketmq-master-salve1
准备版本包
配置hosts,上传RocketMQ包并解压https://rocketmq.apache.org/zh/download/#rocketmq选择Binary 下载上传至/data/public/rocketmq
修改配置文件
生产高可用双主双从采用 SYNC_MASTER 同步双写SYNC_FLUSH 同步刷盘进行
172.******.120机器
修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties #所属集群名字 brokerClusterNametest-rocketmq-cluster #broker 名字注意此处不同的配置文件填写的不一样 brokerNamebroker-a #0 表示 Master0 表示 Slave brokerId0 #nameServer 地址分号分割 namesrvAddrrocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #安装可视化界面使用需要是IP不能是host #设置broker节点所在服务器的ip地址**这个非常重要,主从模式下从节点会根据主节点的brokerIP2来同步数据#如果不配置主从无法同步brokerIP1设置为自己外网能访问的ip服务器双网卡情况下必须配置比如阿里云这$种#主节点需要配置ip1和ip2从节点只需要配置ip1即可 brokerIP1172.******.120 brokerIP2172.******.120 #在发送消息时自动创建服务器不存在的 topic默认创建的队列数 defaultTopicQueueNums4 #是否允许 Broker 自动创建 Topic建议线下开启线上关闭 #进行发消息时必须要指定topic对于topic的设置有一个开关autoCreateTopicEnable一#般在开发测试环境中会使用默认设置autoCreateTopicEnable true但是这样就会导致#topic的设置不容易规范管理没有统一的审核等等所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable false。这样当需要增加topic时就需要在web管理界面上#添加即可。 autoCreateTopicEnablefalse #是否允许 Broker 自动创建订阅组建议线下开启线上关闭 autoCreateSubscriptionGroupfasle #Broker 对外服务的监听端口 listenPort10911 #删除文件时间点默认凌晨 4 点 deleteWhen04 #文件保留时间默认 48 小时 fileReservedTime120 #commitLog 每个文件的大小默认 1G mapedFileSizeCommitLog1073741824 #ConsumeQueue 每个文件默认存 30W 条根据业务情况调整 mapedFileSizeConsumeQueue300000 #destroyMapedFileIntervalForcibly120000 #redeleteHangedFileInterval120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio88 #存储路径 storePathRootDir/data/public/rocketmq/store #commitLog 存储路径 storePathCommitLog/data/public/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue/data/public/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex/data/public/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint/data/public/rocketmq/store/checkpoint #abort 文件存储路径 abortFile/data/public/rocketmq/store/abort #限制的消息大小 maxMessageSize65536 #flushCommitLogLeastPages4 #flushConsumeQueueLeastPages2 #flushCommitLogThoroughInterval10000 #flushConsumeQueueThoroughInterval60000 #Broker 的角色 #- ASYNC_MASTER 异步复制 Master #- SYNC_MASTER 同步双写 Master #- SLAVE brokerRoleSYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskTypeSYNC_FLUSH #checkTransactionMessageEnablefalse #发消息线程池数量 #sendMessageThreadPoolNums128 #拉消息线程池数量 #pullMessageThreadPoolNums128
修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-b-s.properties #所属集群名字 brokerClusterNametest-rocketmq-cluster #broker 名字注意此处不同的配置文件填写的不一样 brokerNamebroker-b #0 表示 Master0 表示 Slave brokerId1 #nameServer 地址分号分割 namesrvAddrrocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #安装可视化界面使用需要是IP不能是host #设置broker节点所在服务器的ip地址**这个非常重要,主从模式下从节点会根据主节点的brokerIP2来同步数据#如果不配置主从无法同步brokerIP1设置为自己外网能访问的ip服务器双网卡情况下必须配置比如阿里云这$种#主节点需要配置ip1和ip2从节点只需要配置ip1即可 brokerIP1172.******.120 #在发送消息时自动创建服务器不存在的 topic默认创建的队列数 defaultTopicQueueNums4 #是否允许 Broker 自动创建 Topic建议线下开启线上关闭 #进行发消息时必须要指定topic对于topic的设置有一个开关autoCreateTopicEnable一#般在开发测试环境中会使用默认设置autoCreateTopicEnable true但是这样就会导致#topic的设置不容易规范管理没有统一的审核等等所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable false。这样当需要增加topic时就需要在web管理界面上#添加即可。 autoCreateTopicEnablefasle #是否允许 Broker 自动创建订阅组建议线下开启线上关闭 autoCreateSubscriptionGroupfasle #Broker 对外服务的监听端口如果从节点是单独服务器则可以使用默认端口19011 listenPort10922 #删除文件时间点默认凌晨 4 点 deleteWhen04 #文件保留时间默认 48 小时 fileReservedTime120 #commitLog 每个文件的大小默认 1G mapedFileSizeCommitLog1073741824 #ConsumeQueue 每个文件默认存 30W 条根据业务情况调整 mapedFileSizeConsumeQueue300000 #destroyMapedFileIntervalForcibly120000 #redeleteHangedFileInterval120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio88 #存储路径 storePathRootDir/data/public/rocketmq/slave/store #commitLog 存储路径 storePathCommitLog/data/public/rocketmq/slave/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue/data/public/rocketmq/slave/store/consumequeue #消息索引存储路径 storePathIndex/data/public/rocketmq/slave/store/index #checkpoint 文件存储路径 storeCheckpoint/data/public/rocketmq/slave/store/checkpoint #abort 文件存储路径 abortFile/data/public/rocketmq/slave/store/abort #限制的消息大小 maxMessageSize65536 #flushCommitLogLeastPages4 #flushConsumeQueueLeastPages2 #flushCommitLogThoroughInterval10000 #flushConsumeQueueThoroughInterval60000 #Broker 的角色 #- ASYNC_MASTER 异步复制 Master #- SYNC_MASTER 同步双写 Master #- SLAVE brokerRoleSLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskTypeSYNC_FLUSH #checkTransactionMessageEnablefalse #发消息线程池数量 #sendMessageThreadPoolNums128 #拉消息线程池数量 #pullMessageThreadPoolNums128 172.******.142机器
修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-b.properties #所属集群名字 brokerClusterNametest-rocketmq-cluster #broker 名字注意此处不同的配置文件填写的不一样 brokerNamebroker-b #0 表示 Master0 表示 Slave brokerId0 #nameServer 地址分号分割 namesrvAddrrocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #安装可视化界面使用需要是IP不能是host #设置broker节点所在服务器的ip地址**这个非常重要,主从模式下从节点会根据主节点的brokerIP2来同步数据#如果不配置主从无法同步brokerIP1设置为自己外网能访问的ip服务器双网卡情况下必须配置比如阿里云这$种#主节点需要配置ip1和ip2从节点只需要配置ip1即可 brokerIP1172.******.142 brokerIP2172.******.142 #在发送消息时自动创建服务器不存在的 topic默认创建的队列数 defaultTopicQueueNums4 #是否允许 Broker 自动创建 Topic建议线下开启线上关闭 #进行发消息时必须要指定topic对于topic的设置有一个开关autoCreateTopicEnable一#般在开发测试环境中会使用默认设置autoCreateTopicEnable true但是这样就会导致#topic的设置不容易规范管理没有统一的审核等等所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable false。这样当需要增加topic时就需要在web管理界面上#添加即可。 autoCreateTopicEnablefalse #是否允许 Broker 自动创建订阅组建议线下开启线上关闭 autoCreateSubscriptionGroupfalse #Broker 对外服务的监听端口 listenPort10911 #删除文件时间点默认凌晨 4 点 deleteWhen04 #文件保留时间默认 48 小时 fileReservedTime120 #commitLog 每个文件的大小默认 1G mapedFileSizeCommitLog1073741824 #ConsumeQueue 每个文件默认存 30W 条根据业务情况调整 mapedFileSizeConsumeQueue300000 #destroyMapedFileIntervalForcibly120000 #redeleteHangedFileInterval120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio88 #存储路径 storePathRootDir/data/public/rocketmq/store #commitLog 存储路径 storePathCommitLog/data/public/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue/data/public/rocketmq/store/consumequeue #消息索引存储路径 storePathIndex/data/public/rocketmq/store/index #checkpoint 文件存储路径 storeCheckpoint/data/public/rocketmq/store/checkpoint #abort 文件存储路径 abortFile/data/public/rocketmq/store/abort #限制的消息大小 maxMessageSize65536 #flushCommitLogLeastPages4 #flushConsumeQueueLeastPages2 #flushCommitLogThoroughInterval10000 #flushConsumeQueueThoroughInterval60000 #Broker 的角色 #- ASYNC_MASTER 异步复制 Master #- SYNC_MASTER 同步双写 Master #- SLAVE brokerRoleSYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskTypeSYNC_FLUSH #checkTransactionMessageEnablefalse #发消息线程池数量 #sendMessageThreadPoolNums128 #拉消息线程池数量 #pullMessageThreadPoolNums128
修改vim /data/public/rocketmq/conf/2m-2s-sync/broker-a-s.properties #所属集群名字 brokerClusterNametest-rocketmq-cluster #broker 名字注意此处不同的配置文件填写的不一样 brokerNamebroker-a #0 表示 Master0 表示 Slave brokerId1 #nameServer 地址分号分割 namesrvAddrrocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #安装可视化界面使用需要是IP不能是host #设置broker节点所在服务器的ip地址**这个非常重要,主从模式下从节点会根据主节点的brokerIP2来同步数据#如果不配置主从无法同步brokerIP1设置为自己外网能访问的ip服务器双网卡情况下必须配置比如阿里云这$种#主节点需要配置ip1和ip2从节点只需要配置ip1即可 brokerIP1172.******.142 #在发送消息时自动创建服务器不存在的 topic默认创建的队列数 defaultTopicQueueNums4 #是否允许 Broker 自动创建 Topic建议线下开启线上关闭 #进行发消息时必须要指定topic对于topic的设置有一个开关autoCreateTopicEnable一#般在开发测试环境中会使用默认设置autoCreateTopicEnable true但是这样就会导致#topic的设置不容易规范管理没有统一的审核。所以在正式环境中会在Broker启动时#设置参数autoCreateTopicEnable false。这样当需要增加topic时就需要在web管理界面上#添加即可。 autoCreateTopicEnablefalse #是否允许 Broker 自动创建订阅组建议线下开启线上关闭 autoCreateSubscriptionGroupfalse #Broker 对外服务的监听端口如果从节点是单独服务器则可以使用默认端口19011 listenPort10922 #删除文件时间点默认凌晨 4 点 deleteWhen04 #文件保留时间默认 48 小时 fileReservedTime120 #commitLog 每个文件的大小默认 1G mapedFileSizeCommitLog1073741824 #ConsumeQueue 每个文件默认存 30W 条根据业务情况调整 mapedFileSizeConsumeQueue300000 #destroyMapedFileIntervalForcibly120000 #redeleteHangedFileInterval120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio88 #存储路径 storePathRootDir/data/public/rocketmq/slave/store #commitLog 存储路径 storePathCommitLog/data/public/rocketmq/slave/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue/data/public/rocketmq/slave/store/consumequeue #消息索引存储路径 storePathIndex/data/public/rocketmq/slave/store/index #checkpoint 文件存储路径 storeCheckpoint/data/public/rocketmq/slave/store/checkpoint #abort 文件存储路径 abortFile/data/public/rocketmq/slave/store/abort #限制的消息大小 maxMessageSize65536 #flushCommitLogLeastPages4 #flushConsumeQueueLeastPages2 #flushCommitLogThoroughInterval10000 #flushConsumeQueueThoroughInterval60000 #Broker 的角色 #- ASYNC_MASTER 异步复制 Master #- SYNC_MASTER 同步双写 Master #- SLAVE brokerRoleSLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskTypeSYNC_FLUSH #checkTransactionMessageEnablefalse #发消息线程池数量 #sendMessageThreadPoolNums128 #拉消息线程池数量 #pullMessageThreadPoolNums128
创建目录两台机器都要创建 #创建主节点目录 mkdir /data/public/rocketmq/store实际数据存储的位置 mkdir /data/public/rocketmq/store/commitlog: mkdir /data/public/rocketmq/store/consumequeue:类似于数据库索引的文件结构 mkdir /data/public/rocketmq/store/index:用于快速查询索引 #创建从节点目录 mkdir /data/public/rocketmq/slave mkdir /data/public/rocketmq/slave/store实际数据存储的位置 mkdir /data/public/rocketmq/slave/store/commitlog: mkdir /data/public/rocketmq/slave/store/consumequeue:类似于数据库索引的文件结构 mkdir /data/public/rocketmq/slave/store/index:用于快速查询索引
修改启动参数脚本
组件建议内存至少8g,但是我们在开发环境就写成1g小于1g可能起不来 vim /data/public/rocketmq/bin/runbroker.sh JAVA_OPT${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m vim /data/public/rocketmq/bin/runserver.sh JAVA_OPT${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:PermSize128m -XX:MaxPermSize320m
启动
顺序是先启动nameserver再启动broker。关闭则是先关闭broker在关闭nameserver。生产环境切勿删除store文件夹生产环境禁止使用kill -9 命令删除broker进程使用bin/下的mqshutdown命令
172.******.120机器和172.*******.142机器
启动nameserver # 首先启动Name Server nohup sh mqnamesrv ### 验证Name Server 是否启动成功 tail -f /root/logs/rocketmqlogs/namesrv.log The Name Server boot success. serializeTypeJSON ##关闭 sh mqshutdown namesrv
启动broker
172.******.120主节点正常启动
备注nohup sh mqbroker -n 172.31.241.120:9876 -c /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties ##启动broker nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-a.properties ##查看启动是否成功 tail -5f /root/logs/rocketmqlogs/broker.log ##关闭sh mqshutdown broker
172.******.142的主节点启动 ##启动broker nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-b.properties ##查看启动是否成功 tail -5f /root/logs/rocketmqlogs/broker.log ##关闭sh mqshutdown broker
172.******.120从节点 ##启动broker nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-b-s.properties ##查看启动是否成功 tail -5f /root/logs/rocketmqlogs/broker.log ##关闭sh mqshutdown broker
172.******.142从节点 ##启动broker nohup sh mqbroker -c /data/public/rocketmq/conf/2m-2s-sync/broker-a-s.properties ##查看启动是否成功 tail -5f /root/logs/rocketmqlogs/broker.log ##关闭sh mqshutdown broker
部署可视化界面
源码包下载地址
下载完成后进行修改配置并打包部署即可
仅需要修改这个配置即可
rocketmq.config.namesrvAddrrocketmq-nameserver1:9876;rocketmq-nameserver2:9876
注意users.properties中配置的是用户名密码如果要启用可视化界面的登录则需要打开application.properties文件中rocketmq.config.loginRequiredtrue即可
规则用户角色用户名,密码
例如admin角色的用户名是admin密码是1
则配置为adminadmin,1
访问界面http://172.******.120:8080即可 注意
如果发现依旧不是双主双从则排查防火墙端口是否开放。一定要开启109111090910912三个端口其中10911为broker通信端口10909是一个虚拟ip(vip)端口根据源码显示有一个源端口号-2的操作10912为主从同步通信端口单节点可以不开启。集群模式下不开启10912从节点同步不了主节点数据。 #查看firewall服务状态 systemctl status firewalld 出现Active: active (running)切高亮显示则表示是启动状态。 出现 Active: inactive (dead)灰色表示停止看单词也行。 #查看firewall的状态 firewall-cmd --state #关闭防火墙 systemctl stop firewalld.service #开启防火墙 systemctl start firewalld #查询端口是否开放 firewall-cmd --query-port10911/tcp #开放指定端口 firewall-cmd --permanent --zonepublic --add-port9876/tcp firewall-cmd --permanent --zonepublic --add-port10911/tcp firewall-cmd --permanent --zonepublic --add-port10909/tcp firewall-cmd --permanent --zonepublic --add-port10912/tcp firewall-cmd --permanent --zonepublic --add-port10922/tcp # 立即生效 firewall-cmd --reload # 移除端口 firewall-cmd --permanent --remove-port9876/tcp firewall-cmd --permanent --remove-port10911/tcp firewall-cmd --permanent --remove-port10909/tcp firewall-cmd --permanent --remove-port10912/tcp firewall-cmd --permanent --remove-port10922/tcp
