关于门户网站建设,建设公司宣传网站,电子工程信息建设网,网页升级紧急通知网页打不开文章目录 1.安装要求1.1 Linux操作系统要求1.2 软件需求1.3 注意事项1.4 内部端口 2.集群部署2.1 操作系统安装要求2.2 下载安装包2.3 解压2.4 配置FE2.5 配置BE2.6 添加BE2.7 FE 扩容和缩容2.8 Doris 集群群起脚本 3.图形化 1.安装要求
1.1 Linux操作系统要求 1.2 软件需求 1… 文章目录 1.安装要求1.1 Linux操作系统要求1.2 软件需求1.3 注意事项1.4 内部端口 2.集群部署2.1 操作系统安装要求2.2 下载安装包2.3 解压2.4 配置FE2.5 配置BE2.6 添加BE2.7 FE 扩容和缩容2.8 Doris 集群群起脚本 3.图形化 1.安装要求
1.1 Linux操作系统要求 1.2 软件需求 1.3 注意事项
所有部署节点关闭Swap。Follower的数量必须为奇数Observer 数量随意。当集群可用性要求很高时比如提供在线业务可以部署3个 Follower和1-3个Observer。如果是离线业务建议部署1个Follower和1-3个Observer。测试环境也可以仅适用一个BE进行测试。实际生产环境BE实例数量直接决定了整体查询延迟。
1.4 内部端口 当部署多个FE实例时要保证FE的http_port配置相同。
2.集群部署 2.1 操作系统安装要求
设置系统最大打开文件句柄数注意这里的*不要去掉。
sudo vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536设置最大虚拟块的大小。
sudo vim /etc/sysctl.conf
vm.max_map_count2000000重启生效。
2.2 下载安装包 cat /proc/cpuinfo | grep avx2如果能看到avx2 字样选择带 avx2 的包。 arm64 架构 cpuapple选择 arm64 的安装包下载。
2.3 解压
1安装 fe
mkdir -p /opt/module/doristar -xvf apache-doris-fe-1.2.4.1-bin-arm.tar.xz -C /opt/module/dorismv /opt/module/doris/apache-doris-fe-1.2.4.1-bin-arm /opt/module/doris/fe2安装 be
tar -xvf apache-doris-be-1.2.4.1-bin-arm.tar.xz -C /opt/module/dorismv /opt/module/doris/apache-doris-be-1.2.4.1-bin-arm /opt/module/doris/be3安装其他依赖java udf 函数
tar -xvf apache-doris-dependencies-1.2.4.1-bin-arm.tar.xz -C /opt/module/dorismv /opt/module/doris/apache-doris-dependencies-1.2.4.1-bin-arm /opt/module/doris/dependenciescp /opt/module/doris/dependencies/java-udf-jar-with-dependencies.jar /opt/module/doris/be/lib2.4 配置FE
1修改FE配置文件
vim /opt/module/doris/fe/conf/fe.conf# web 页面访问端口
http_port 7030
# 配置文件中指定元数据路径默认在 fe 的根目录下可以不配
# meta_dir /opt/module/doris/fe/doris-meta
# 修改绑定 ip
priority_networks 192.168.254.102/24生产环境强烈建议单独指定目录不要放在Doris安装目录下最好是单独的磁盘如果有SSD最好。如果机器有多个IP比如内网外网, 虚拟机docker等需要进行IP绑定才能正确识别。JAVA_OPTS 默认Java 最大堆内存为 4GB建议生产环境调整至 8G 以上。
2启动FE
/opt/module/doris/fe/bin/start_fe.sh --daemon3登录 FE Web页面
地址http://hadoop102:7030/login 用户root 密码无 2.5 配置BE
vim /opt/module/doris/be/conf/be.confwebserver_port 7040priority_networks 192.168.254.102/24mem_limit40%分发be
xsync be2.6 添加BE
BE节点需要先在FE中添加才可加入集群。可以使用mysql-client连接到FE。
1使用 Mysql 客户端连接到 FE
mysql -h hadoop102 -P9030 -uroot2添加BE
ALTER SYSTEM ADD BACKEND hadoop102:9050;
ALTER SYSTEM ADD BACKEND hadoop103:9050;
ALTER SYSTEM ADD BACKEND hadoop104:9050;3启动BE
hadoop102, hadoop103, hadoop104 上都启动BE
/opt/module/doris/be/bin/start_be.sh --daemon4mysql查看BE状态
SHOW PROC /backends\G2.7 FE 扩容和缩容
通过将FE扩容至3个以上节点必须是奇数来实现FE的高可用。
1添加为OBSERVER
ALTER SYSTEM ADD OBSERVER hadoop103:9010;
ALTER SYSTEM ADD OBSERVER hadoop104:9010;2分发fe
xsync fe3启动fe hadoop102启动:
/opt/module/doris/fe/bin/start_fe.sh --daemonhadoop103, hadoop104 第一次启动的时候需要参数 --helper leader主机: edit_log_port
/opt/module/doris/fe/bin/start_fe.sh --daemon --helper hadoop102:90104mysql上看fe的状态
show proc /frontends;2.8 Doris 集群群起脚本
#!/bin/bash
case $1 instart)for host in hadoop102 hadoop103 hadoop104 ; doecho 在 $host 上启动 fe ssh $host source /etc/profile; /opt/module/doris/fe/bin/start_fe.sh --daemondonefor host in hadoop102 hadoop103 hadoop104 ; doecho 在 $host 上启动 be ssh $host source /etc/profile; /opt/module/doris/be/bin/start_be.sh --daemondone;;stop)for host in hadoop102 hadoop103 hadoop104 ; doecho 在 $host 上停止 fe ssh $host source /etc/profile; /opt/module/doris/fe/bin/stop_fe.sh donefor host in hadoop102 hadoop103 hadoop104 ; doecho 在 $host 上停止 be ssh $host source /etc/profile; /opt/module/doris/be/bin/stop_be.sh done;;*)echo 你启动的姿势不对echo start 启动doris集群echo stop 停止stop集群;;
esachadoop102:7030/login 3.图形化 BE:backends FE:frontends
