大渡口集团网站建设,商品推广软文范例300字,正规手机网站怎么做,做网站比较专业的公司目录
EFK安装部署
一、环境准备#xff08;所有主机#xff09;
1、主机初始化配置
2、配置主机名并绑定hosts#xff0c;不同主机名称不同
3、主机配置初始化
4、部署docker环境
二、部署kubernetes集群
1、组件介绍
2、配置阿里云yum源
3、安装kubelet kubeadm …目录
EFK安装部署
一、环境准备所有主机
1、主机初始化配置
2、配置主机名并绑定hosts不同主机名称不同
3、主机配置初始化
4、部署docker环境
二、部署kubernetes集群
1、组件介绍
2、配置阿里云yum源
3、安装kubelet kubeadm kubectl
4、配置init-config.yaml
init-config.yaml配置
5、安装master节点
6、安装node节点
7、安装flannel
三、部署企业镜像仓库
1、部署Harbor仓库
访问测试
2、重启harbor导入EFK镜像
四、部署EFK业务环境
1、准备组件Yaml文件
2、部署Elasticsearch
3、部署kibana
4、部署Fluentd
5、验证容器日志收集创建测试容器
6、配置 Kibana EFK安装部署
一、环境准备所有主机 IP地址 主机名 组件 192.168.100.131 k8s-master kubeadm、kubelet、kubectl、docker-ce 192.168.100.132 k8s-node01 kubeadm、kubelet、kubectl、docker-ce、elasticsearch、fluentd 192.168.100.133 k8s-node02 kubeadm、kubelet、kubectl、docker-ce、kibana、fluentd 192.168.100.134 harbor docker-ce、docker-compose、harbor 注意所有主机配置推荐CPU2C Memory4G、运行 Elasticsearch 的节点要有足够的内存不低于 4GB。若 Elasticsearch 容器退出请检查宿主机中的/var/log/message 日志观察是否因为系统 OOM 导致进程被杀掉。 项目拓扑 1、主机初始化配置
所有主机配置禁用防火墙和selinux
[rootlocalhost ~]# setenforce 0[rootlocalhost ~]# iptables -F[rootlocalhost ~]# systemctl stop firewalld[rootlocalhost ~]# systemctl disable firewalld[rootlocalhost ~]# systemctl stop NetworkManager[rootlocalhost ~]# systemctl disable NetworkManager[rootlocalhost ~]# sed -i /^SELINUX/s/enforcing/disabled/ /etc/selinux/config 2、配置主机名并绑定hosts不同主机名称不同
[rootlocalhost ~]# hostname k8s-master[rootlocalhost ~]# bash[rootk8s-master ~]# cat EOF /etc/hosts192.168.100.131 k8s-master192.168.100.132 k8s-node01192.168.100.133 k8s-node02EOF [rootlocalhost ~]# hostname k8s-node01
[rootk8s-node01 ~]# cat /etc/hosts [rootlocalhost ~]# hostname k8s-node02
[rootk8s-node02 ~]#cat /etc/hosts 3、主机配置初始化
[rootk8s-master ~]# yum -y install vim wget net-tools lrzsz [rootk8s-master ~]# swapoff -a[rootk8s-master ~]# sed -i /swap/s/^/#/ /etc/fstab[rootk8s-master ~]# cat EOF /etc/sysctl.confnet.bridge.bridge-nf-call-ip6tables 1net.bridge.bridge-nf-call-iptables 1EOF[rootk8s-master ~]# modprobe br_netfilter[rootk8s-master ~]# sysctl -p 4、部署docker环境
1三台主机上分别部署 Docker 环境因为 Kubernetes 对容器的编排需要 Docker 的支持。 [rootk8s-master ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo [rootk8s-master ~]# yum install -y yum-utils device-mapper-persistent-data lvm2 2使用 YUM 方式安装 Docker 时推荐使用阿里的 YUM 源。 [rootk8s-master ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 3清除缓存 [rootk8s-master ~]# yum clean all yum makecache fast 4启动docker [rootk8s-master ~]# yum -y install docker-ce [rootk8s-master ~]# systemctl start docker [rootk8s-master ~]# systemctl enable docker 5镜像加速器所有主机配置 [rootk8s-master ~]# cat END /etc/docker/daemon.json { registry-mirrors:[ https://nyakyfun.mirror.aliyuncs.com ] } END 6重启docker [rootk8s-master ~]# systemctl daemon-reload [rootk8s-master ~]# systemctl restart docker 二、部署kubernetes集群
1、组件介绍
三个节点都需要安装下面三个组件 kubeadm安装工具使所有的组件都会以容器的方式运行 kubectl客户端连接K8S API工具 kubelet运行在node节点用来启动容器的工具 2、配置阿里云yum源
使用 YUM 方式安装 Kubernetes时推荐使用阿里的 YUM 源。 [rootk8s-master ~]# ls /etc/yum.repos.d/ [rootk8s-master ~]# cat /etc/yum.repos.d/kubernetes.repo 3、安装kubelet kubeadm kubectl
所有主机配置 [rootk8s-master ~]# yum install -y kubelet-1.20.0 kubeadm-1.20.0 kubectl-1.20.0 [rootk8s-master ~]# systemctl enable kubelet [rootk8s-master ~]# kubectl version kubelet 刚安装完成后通过 systemctl start kubelet 方式是无法启动的需要加入节点或初始化为 master 后才可启动成功。 4、配置init-config.yaml Kubeadm 提供了很多配置项Kubeadm 配置在 Kubernetes 集群中是存储在ConfigMap 中的也可将这些配置写入配置文件方便管理复杂的配置项。Kubeadm 配内容是通过 kubeadm config 命令写入配置文件的。 在master节点安装master 定于为192.168.100.131通过如下指令创建默认的init-config.yaml文件 [rootk8s-master ~]# kubeadm config print init-defaults init-config.yaml init-config.yaml配置
[rootk8s-master ~]# cat init-config.yaml 5、安装master节点
1拉取所需镜像
[rootk8s-master ~]# kubeadm config images list --config init-config.yaml [rootk8s-master ~]# kubeadm config images pull --config init-config.yaml 2安装matser节点
[rootk8s-master ~]# kubeadm init --configinit-config.yaml //初始化安装K8S 3根据提示操作 kubectl 默认会在执行的用户家目录下面的.kube 目录下寻找config 文件。这里是将在初始化时[kubeconfig]步骤生成的admin.conf 拷贝到.kube/config [rootk8s-master ~]# mkdir -p $HOME/.kube [rootk8s-master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config [rootk8s-master ~]# chown $(id -u):$(id -g) $HOME/.kube/config Kubeadm 通过初始化安装是不包括网络插件的也就是说初始化之后是不具备相关网络功能的比如 k8s-master 节点上查看节点信息都是“Not Ready”状态、Pod 的 CoreDNS无法提供服务等。 6、安装node节点
1根据master安装时的提示信息 [rootk8s-node01 ~]# kubeadm join 192.168.100.131:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:78bdd0f01660f4e84355b70aa8807cf1d0d6325b0b28502b29c241563e93b4ae [rootk8s-master ~]# kubectl get nodes [rootk8s-node02 ~]# kubeadm join 192.168.100.131:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:78bdd0f01660f4e84355b70aa8807cf1d0d6325b0b28502b29c241563e93b4ae Master操作
[rootk8s-master ~]# kubectl get nodes 前面已经提到在初始化 k8s-master 时并没有网络相关配置所以无法跟 node 节点通信因此状态都是“NotReady”。但是通过 kubeadm join 加入的 node 节点已经在k8s-master 上可以看到。 7、安装flannel Master 节点NotReady 的原因就是因为没有使用任何的网络插件此时Node 和Master的连接还不正常。目前最流行的Kubernetes 网络插件有Flannel、Calico、Canal、Weave 这里选择使用flannel。
所有主机 master上传kube-flannel.yml所有主机上传flannel_v0.12.0-amd64.tarcni-plugins-linux-amd64-v0.8.6.tgz [rootk8s-master ~]# docker load flannel_v0.12.0-amd64.tar 上传插件
[rootk8s-master ~]# tar xf cni-plugins-linux-amd64-v0.8.6.tgz
[rootk8s-master ~]# cp flannel /opt/cni/bin/ master上传kube-flannel.yml
master主机配置
[rootk8s-master ~]# kubectl apply -f kube-flannel.yml [rootk8s-master ~]# kubectl get nodes
[rootk8s-master ~]# kubectl get pods -n kube-system 已经是ready状态 三、部署企业镜像仓库
1、部署Harbor仓库
1所有主机配置禁用防火墙和selinux
[rootlocalhost ~]# setenforce 0[rootlocalhost ~]# iptables -F[rootlocalhost ~]# systemctl stop firewalld[rootlocalhost ~]# systemctl disable firewalld[rootlocalhost ~]# systemctl stop NetworkManager[rootlocalhost ~]# systemctl disable NetworkManager[rootlocalhost ~]# sed -i /^SELINUX/s/enforcing/disabled/ /etc/selinux/config 2配置主机名 [rootlocalhost ~]# hostname harbor [rootlocalhost ~]# bash [rootharbor ~]# 3部署docker环境
Harbor 仓库需要 Docker 容器支持所以 Docker 环境是必不可少的。 [rootk8s-master ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo [rootk8s-master ~]# yum install -y yum-utils device-mapper-persistent-data lvm2 使用 YUM 方式安装 Docker 时推荐使用阿里的 YUM 源。 [rootk8s-master ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 清除缓存 [rootk8s-master ~]# yum clean all yum makecache fast 启动docker [rootk8s-master ~]# yum -y install docker-ce [rootk8s-master ~]# systemctl start docker [rootk8s-master ~]# systemctl enable docker 镜像加速器所有主机配置 [rootk8s-master ~]# cat END /etc/docker/daemon.json { registry-mirrors:[ https://nyakyfun.mirror.aliyuncs.com ] } END 重启docker [rootk8s-master ~]# systemctl daemon-reload [rootk8s-master ~]# systemctl restart docker 部署docker-compose [rootharbor ~]# mv docker-compose /usr/local/bin/ [rootharbor ~]# chmod x /usr/local/bin/docker-compose 部署harbor
Harbor 私有仓库程序采用 docker-compose 方式部署不同的功能和应用处于不同的容器这样带来了很好的兼容性可在众多支持 Docker 的系统上运行 Harbor。 [rootharbor ~]# tar xf harbor-offline-installer-v1.10.6.tgz -C /usr/local/ Harbor 的配置文件是/usr/local/harbor/harbor.yml 文件默认的 hostname 要修改为Harbor 虚拟机节点的 IP 地址。
[rootharbor ~]# vim /usr/local/harbor/harbor.yml 5 hostname: 192.168.200.114 13 #https: //https 相关配置都注释掉包括 https、port、certificate 和 private_key 14 # https port for harbor, default is 443 15 #port: 443 16 # The path of cert and key files for nginx 17 #certificate: /your/certificate/path 18 #private_key: /your/private/key/path 启动harbor [rootharbor ~]# cd /usr/local/harbor/ [rootharbor harbor]# sh install.sh [rootharbor harbor]# docker-compose ps 访问测试
Harbor 启动完成后浏览器访问 http://192.168.100.134打开 Harbor Web 页面 修改所有主机docker启动脚本
[rootharbor ~]# vim /usr/lib/systemd/system/docker.service [rootharbor ~]# scp /usr/lib/systemd/system/docker.service 192.168.100.131:/usr/lib/systemd/system/ [rootharbor ~]# scp /usr/lib/systemd/system/docker.service 192.168.100.132:/usr/lib/systemd/system/ [rootharbor ~]# scp /usr/lib/systemd/system/docker.service 192.168.100.133:/usr/lib/systemd/system/ 所有主机重启docker服务
[rootharbor ~]# systemctl daemon-reload
[rootharbor ~]# systemctl restart docker 2、重启harbor导入EFK镜像
[rootharbor ~]# sh install.sh [rootharbor ~]# docker login -u admin -p Harbor12345 http://192.168.100.134 [rootharbor ~]# cd efk
[rootharbor ~]# ls [rootharbor ~]# docker load elasticsearch-7.4.2.tar [rootharbor ~]# docker load fluentd-es.tar [rootharbor ~]# docker load kibana-7.4.2.tar [rootharbor ~]# docker load alpine-3.6.tar [rootharbor ~]# docker tag b1179d 192.168.100.134/efk/elasticsearch:7.4.2 [rootharbor ~]# docker tag 636f3d 192.168.100.134/efk/fluentd-es-root:v2.5.2 [rootharbor ~]# docker tag 43773d 192.168.100.134/efk/alpine:3.6 [rootharbor ~]# docker tag 230d3d 192.168.100.134/efk/kibana:7.4.2 [rootharbor ~]# docker push 192.168.100.134/efk/elasticsearch:7.4.2 [rootharbor ~]# docker push 192.168.100.134/efk/fluentd-es-root:v2.5.2 [rootharbor ~]# docker push 192.168.100.134/efk/kibana:7.4.2 [rootharbor ~]# docker push 192.168.100.134/efk/alpine:3.6 四、部署EFK业务环境
1、准备组件Yaml文件
Yaml文件中涉及到镜像地址和 nodeSelector 选择器地址需要注意修改。 [rootk8s-master ~]# mkdir efk #上传对应的yaml文件 [rootk8s-master ~]# cd efk/ [rootk8s-master efk]# grep image: elasticsearch.yaml image: 192.168.100.134/efk/elasticsearch:7.4.2 image: 192.168.100.134/efk/alpine:3.6 image: 192.168.100.134/efk/alpine:3.6 NodeSelector 节点选择器的修改实际作用是决定将 Elasticsearch 服务部署到哪个节点。当前配置文件内是调度到 k8s-node01 节点请根据实际负载情况进行调整。节点名称可以通过 kubectl get nodes 获取在选择节点时务必确保节点有足够的资源。
[rootk8s-master efk]# grep -A1 nodeSelector elasticsearch.yaml nodeSelector: kubernetes.io/hostname: k8s-node01 对kibana.yaml文件镜像地址和调度节点进行修改将 Kibana 部署到 k8s-node02 节点。
[rootk8s-master efk]# grep image: kibana.yaml image: 192.168.100.134/efk/kibana:7.4.2 [rootk8s-master efk]# grep -A1 nodeSelector kibana.yaml nodeSelector: kubernetes.io/hostname: k8s-node02 修改 fluentd.yaml的镜像地址
[rootk8s-master efk]# grep image: fluentd.yaml image: 192.168.100.134/efk/fluentd-es-root:v2.5.2 修改 test-pod.yaml的镜像地址
[rootk8s-master efk]# grep image: test-pod.yaml image: 192.168.100.134/efk/alpine:3.6 2、部署Elasticsearch
1)创建命名空间
创建名为 logging 的命名空间用于存放 EFK 相关的服务。在 k8s-master节点的/opt/efk 目录下。 [rootk8s-master efk]# kubectl create -f namespace.yaml [rootk8s-master efk]# kubectl get namespaces | grep logging 2)创建 es 数据存储目录
Elasticsearch 服务通常可以简写为 es。到 k8s-node01 节点创建数据目录/esdata。 [rootk8s-node01 ~]# mkdir /esdata 3)部署 es 容器
进入 k8s-master节点的/efk 目录部署 es 容器执行如下操作。 [rootk8s-master ~]# cd efk/ [rootk8s-master efk]# kubectl create -f elasticsearch.yaml 等待片刻即可查看到 es 的 Pod已经部署到 k8s-node01 节点状态变为 running。 [rootk8s-master efk]# kubectl -n logging get pods -o wide [rootk8s-master efk]# kubectl -n logging get svc 通过 curl 命令访问服务验证 es 是否部署成功。
[rootk8s-master efk]# curl 10.98.29.202:9200 3、部署kibana
进入 k8s-master 的/opt/efk 目录执行如下命令。 [rootk8s-master efk]# kubectl create -f kibana.yaml service/kibana created 查看 Pod 的状态。 [rootk8s-master efk]# kubectl -n logging get pods 查看对应的 Service得到 NodePort 值为 31732此端口为随机端口不同环境会不一致请以实际结果为准。 [rootk8s-master efk]# kubectl -n logging get svc |grep 通过访问 192.168.100.131:31591 进入到 kibana 的访问界面观察是否可以正常打开其中 31591 端口需要替换成实际的端口号。若能正常访问说明 Kibana 连接 es 已经正常。 4、部署Fluentd
1给集群节点打标签 为了自由控制需要采集集群中节点上业务容器的服务日志。因此需要给 k8s-node01和 k8s-node02 节点打上 fluentdtrue 的标签 label。 [rootk8s-master efk]# kubectl label node k8s-node01 fluentdtrue [rootk8s-master efk]# kubectl label node k8s-node02 fluentdtrue k8s-node01 和 k8s-node02 已经打上了 fluentdtrue 的 label那么 Fluentd 服务就会启动到这两个节点也就意味着运行在这两个节点的 Pod 日志会被收集起来。 2启动 Fluentd 服务
在 k8s-master节点的/opt/efk 目录启动 Fluentd 服务 [rootk8s-master efk]# kubectl create -f fluentd-es-config-main.yaml [rootk8s-master efk]# kubectl create -f fluentd-configmap.yaml [rootk8s-master efk]# kubectl create -f fluentd.yaml 3查看 Pod 信息
是否已经在 k8s-node01 和 k8s-node02 节点启动成功。 [rootk8s-master efk]# kubectl -n logging get pods 5、验证容器日志收集创建测试容器
进入 k8s-master的/opt/efk 目录执行如下命令。 [rootk8s-master efk]# kubectl create -f test-pod.yaml [rootk8s-master efk]# kubectl get pods 6、配置 Kibana 索引创建完成后可以发现已经生成了多个索引域稍等片刻再次点击左上角的
discover 图标进入日志检索页面。 然后通过索引键去过滤比如根据Kubernetes.host、Kubernetes.container_name、 kubernetes.container_image_id等去做过滤。 通过其他元数据也可以过滤日志数据比如单击任何日志条目以查看其他元数据如容器名称、Kubernetes 节点、命名空间等。 到这里在 Kubernetes 集群上已经成功部署了 EFK。
