设计网站的公司名称,软件开发属于什么行业类别,萨wordpress,erp软件实施每日禅语 “木末芙蓉花#xff0c;山中发红萼#xff0c;涧户寂无人#xff0c;纷纷开自落。”这是王维的一首诗#xff0c;名叫《辛夷坞》。这首诗写的是在辛夷坞这个幽深的山谷里#xff0c;辛夷花自开自落#xff0c;平淡得很#xff0c;既没有生的喜悦#xff…每日禅语 “木末芙蓉花山中发红萼涧户寂无人纷纷开自落。”这是王维的一首诗名叫《辛夷坞》。这首诗写的是在辛夷坞这个幽深的山谷里辛夷花自开自落平淡得很既没有生的喜悦也没有死的悲哀。无情有性辛夷花得之于自然又回归自然。它不需要赞美也不需要人们对它的凋谢洒同情之泪它把自己生命的美丽发挥到了极致。在佛家眼中众生平等没有高低贵贱每个个体都自在自足自性自然圆满。《占察善恶业报经》有云“如来法身自性不空有真实体具足无量清净功业从无始世来自然圆满非修非作乃至一切众生身中亦皆具足不变不异无增无减。”一个人如果能体察到自身不增不减的天赋就能在世间拥有精彩和圆满。我们常常会有这样的感觉远处的风景都被笼罩在薄雾或尘埃之下越是走近就越是朦胧心里的念头被围困在重峦叠嶂之中越是急于走出迷阵就越是辨不清方向。这是因为我们过多地执着于思维而忽视了自性。 写作初衷 网络上关于k8s的部署文档纷繁复杂而且k8s的入门难度也比docker要高我学习k8s的时候为了部署一套完整的k8s集群环境寻找网上各种各样的文档信息终究不得其中奥秘所以光是部署这一步导致很多人退而缺步最终而放弃学习所以写了这篇文章让更多的k8s学习爱好者一起学习让大家可以更好的部署集群环境。 注未标明具体节点的操作需要在所有节点上都执行。
部署模式两主一从 市面上大部分的部署教程都是一个主节点两个从节点这种方式很少有人写这种高可用的部署方法笔者开始的部署模式也是一主两从但是真正在使用的时候会发现主节点不是太稳定经常会导致集群宕机。所以本文是采用两主一从的方式部署 服务器节点名称k8s节点角色192.168.11.85k8s-mastercontrol-plane192.168.11.86k8s-master1control-plane192.168.11.87k8s-nodeworker
1.部署机器初始化操作
1.1 关闭selinux sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config
1.2配置主机名称
控制节点主节点其他的控制节点也如下命令添加
# hostnamectl set-hostname k8s-master
子节点设置服务器名称也是一样操作
# hostnamectl set-hostname k8s-node
# hostnamectl set-hostname k8s-node1
# hostnamectl set-hostname k8s-node2
1.3关闭交换分区swap
vim /etc/fstab //注释swap挂载给swap这行开头加一下注释。# /dev/mapper/centos-swap swap swap defaults 0 0
# 重启服务器让其生效
reboot now
1.4修改机器内核参数
# modprobe br_netfilter# echo modprobe br_netfilter /etc/profile# cat /etc/sysctl.d/k8s.conf EOFnet.bridge.bridge-nf-call-ip6tables 1net.bridge.bridge-nf-call-iptables 1net.ipv4.ip_forward 1EOF
# sysctl -p /etc/sysctl.d/k8s.conf
# vim /etc/rc.sysinit //重启后模块失效下面是开机自动加载模块的脚本在/etc/新建rc.sysinit 文件#!/bin/bash
for file in /etc/sysconfig/modules/*.modules; do
[ -x $file ] $file
done# vim /etc/sysconfig/modules/br_netfilter.modules //在/etc/sysconfig/modules/目录下新建文件
modprobe br_netfilter# chmod 755 /etc/sysconfig/modules/br_netfilter.modules //增加权限
1.5关闭防火墙
# systemctl stop firewalld; systemctl disable firewalld
1.6配置yum源
备份基础repo源# mkdir /root/repo.bak# cd /etc/yum.repos.d/# mv * /root/repo.bak/
# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
# yum makecache
# yum -y install yum-utils# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
1.7安装基础软件包
# yum -y install yum-utils openssh-clients device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet ipvsadm
2安装containerd
2.1安装containerd
# yum install containerd.io-1.6.6 -y
2.2配置containerd配置
# mkdir -p /etc/containerd# containerd config default /etc/containerd/config.toml //生成containerd配置文件# vim /etc/containerd/config.toml //修改配置文件把SystemdCgroup false修改成SystemdCgroup true把sandbox_image k8s.gcr.io/pause:3.6修改成sandbox_image registry.aliyuncs.com/google_containers/pause:3.7
2.3配置 containerd 开机启动并启动 containerd
# systemctl enable containerd --now
2.3修改/etc/crictl.yaml文件
# cat /etc/crictl.yaml EOFruntime-endpoint: unix:///run/containerd/containerd.sockimage-endpoint: unix:///run/containerd/containerd.socktimeout: 10debug: falseEOF# systemctl restart containerd
2.4配置containerd镜像加速器
# vim /etc/containerd/config.toml文件将config_path 修改成如下目录config_path /etc/containerd/certs.d# mkdir /etc/containerd/certs.d/docker.io/ -p# vim /etc/containerd/certs.d/docker.io/hosts.toml[host.https://vh3bm52y.mirror.aliyuncs.com,host.https://registry.docker-cn.com]capabilities [pull]# systemctl restart containerd
3安装docker服务
3.1安装docker
备注docker也要安装docker跟containerd不冲突安装docker是为了能基于dockerfile构建镜像# yum install docker-ce -y# systemctl enable docker --now
3.2配置docker镜像加速器
# vim /etc/docker/daemon.json //配置docker镜像加速器{registry-mirrors:[https://vh3bm52y.mirror.aliyuncs.com,https://registry.docker-cn.com,https://docker.mirrors.ustc.edu.cn,https://dockerhub.azk8s.cn,http://hub-mirror.c.163.com]}# systemctl daemon-reload# systemctl restart docker
4.安装k8s组件
4.1配置安装k8s组件需要的阿里云的repo源不同版本的k8s需要配置不同的repo源
1.25版本 cat EOF /etc/yum.repos.d/kubernetes.repo
[kubernetes]
nameKubernetes
baseurlhttps://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled1
gpgcheck0
EOF
查看不同版本的镜像源地址安装 kubeadm | Kubernetes
1.30版本 # 此操作会覆盖 /etc/yum.repos.d/kubernetes.repo 中现存的所有配置
cat EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
nameKubernetes
baseurlhttps://pkgs.k8s.io/core:/stable:/v1.30/rpm/
enabled1
gpgcheck1
gpgkeyhttps://pkgs.k8s.io/core:/stable:/v1.30/rpm/repodata/repomd.xml.key
excludekubelet kubeadm kubectl cri-tools kubernetes-cni
EOF
1.29版本
# 此操作会覆盖 /etc/yum.repos.d/kubernetes.repo 中现存的所有配置
cat EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
nameKubernetes
baseurlhttps://pkgs.k8s.io/core:/stable:/v1.29/rpm/
enabled1
gpgcheck1
gpgkeyhttps://pkgs.k8s.io/core:/stable:/v1.29/rpm/repodata/repomd.xml.key
excludekubelet kubeadm kubectl cri-tools kubernetes-cni
EOF
其他版本的类似 4.2安装k8s初始化工具
sudo yum install -y kubelet kubeadm kubectl --disableexcludeskubernetes
sudo systemctl enable --now kubelet
4.3设置容器运行时的endpoint
# crictl config runtime-endpoint /run/containerd/containerd.sock
4.4使用kubeadm初始化k8s集群(控制节点执行)
# vim kubeadm.yamlapiVersion: kubeadm.k8s.io/v1beta3...kind: InitConfigurationlocalAPIEndpoint:advertiseAddress: 172.17.11.85#控制节点的ipbindPort: 6443nodeRegistration:criSocket: unix:///run/containerd/containerd.sock #指定containerd容器运行时的endpointimagePullPolicy: IfNotPresentname: k8s-master #控制节点主机名taints: null---apiVersion: kubeadm.k8s.io/v1beta3certificatesDir: /etc/kubernetes/pkiclusterName: kubernetescontrollerManager: {}dns: {}etcd:local:dataDir: /var/lib/etcdimageRepository: registry.aliyuncs.com/google_containers #指定从阿里云仓库拉取镜像kind: ClusterConfigurationkubernetesVersion: 1.30.0 #k8s版本networking:dnsDomain: cluster.localpodSubnet: 10.244.0.0/16 #指定pod网段serviceSubnet: 10.96.0.0/12 #指定Service网段scheduler: {}#在文件最后插入以下内容复制时要带着------apiVersion: kubeproxy.config.k8s.io/v1alpha1kind: KubeProxyConfigurationmode: ipvs---apiVersion: kubelet.config.k8s.io/v1beta1kind: KubeletConfigurationcgroupDriver: systemd
4.4 修改/etc/sysconfig/kubelet
# vi /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS--fail-swap-onfalse
4.5 基于kubeadm.yaml文件初始化k8s (控制节点执行)
kubeadm init --configkubeadm.yaml --ignore-preflight-errorsSystemVerification
4.6配置kubectl的配置文件(配置kubectl的配置文件config相当于对kubectl进行授权这样kubectl命令可以使用此证书对k8s集群进行管理)(控制节点执行)
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes 5.安装kubernetes网络组件-Calico控制节点执行
上传calico.yaml到master1上使用yaml文件安装calico 网络插件这里需要等几分钟才能ready。kubectl apply -f calico.yaml注在线下载配置文件地址是https://docs.projectcalico.org/manifests/calico.yaml 6.控制节点部署成功以后添加node节点
注未标明具体节点的操作需要在node节点上都执行。 执行完成以后在进行下面步骤的操作
6.1上述的所有操作都已经操作成功除控制节点的操作
在看k8s-master上查看加入节点的命令[rootk8s-master ~]# kubeadm token create --print-join-commandkubeadm join 192.168.11.85:6443 --token ol7rnk.473w56z16o24u3qs --discovery-token-ca-cert-hash sha256:98d33a741dd35172891d54ea625beb552acf6e75e66edf47e64f0f78365351c6把k8s-node加入k8s集群[rootk8s-node ~]# kubeadm join 192.168.11.85:6443 --token ol7rnk.473w56z16o24u3qs --discovery-token-ca-cert-hash sha256:98d33a741dd35172891d54ea625beb552acf6e75e66edf47e64f0f78365351c6
6.2可以把node的ROLES变成work按照如下方法
[rootk8s-master ~]# kubectl label node k8s-node node-role.kubernetes.io/workerworker
6.3查看节点情况
kubectl get nodes //在master上查看集群节点状况 7.添加master1控制节点 注未标明具体节点的操作需要在看s-master1节点上都执行。 执行完成以后在进行下面步骤的操作
7.1在当前唯一的master节点上运行如下命令,获取key
1 # kubeadm init phase upload-certs --upload-certs
2 I1109 14:34:00.836965 5988 version.go:255] remote version is much newer: v1.25.3; falling back to: stable-1.22
3 [upload-certs] Storing the certificates in Secret kubeadm-certs in the kube-system Namespace
4 [upload-certs] Using certificate key:
5 ecf2abbfdf3a7bc45ddb2de75152ec12889971098d69939b98e4451b53aa3033 7.2在当前唯一的master节点上运行如下命令,获取token
在看k8s-master上查看加入节点的命令[rootk8s-master ~]# kubeadm token create --print-join-commandkubeadm join 192.168.11.85:6443 --token ol7rnk.473w56z16o24u3qs --discovery-token-ca-cert-hash sha256:98d33a741dd35172891d54ea625beb552acf6e75e66edf47e64f0f78365351c6
7.3将获取的key和token进行拼接
kubeadm join 192.168.11.85:6443 --token xxxxxxxxx --discovery-token-ca-cert-hash xxxxxxx --control-plane --certificate-key xxxxxxx 注意事项 不要使用 --experimental-control-plane会报错要加上--control-plane --certificate-key 不然就会添加为node节点而不是masterjoin的时候节点上不要部署如果部署了kubeadm reset后再join 7.4将7.3步骤拼接好的join命令在master1节点执行执行成功以后显示如下信息
This node has joined the cluster and a new control plane instance was created:* Certificate signing request was sent to apiserver and approval was received.
* The Kubelet was informed of the new secure connection details.
* Control plane (master) label and taint were applied to the new node.
* The Kubernetes control plane instances scaled up.
* A new etcd member was added to the local/stacked etcd cluster.To start administering your cluster from this node, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configRun kubectl get nodes to see this node join the cluster.
7.5报错处理
7.5.1 第一次加入集群的时候会有以下报错
[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with kubectl -n kube-system get cm kubeadm-config -oyaml
error execution phase preflight:
One or more conditions for hosting a new control plane instance is not satisfied.unable to add a new control plane instance a cluster that doesnt have a stable controlPlaneEndpoint addressPlease ensure that:
* The cluster has a stable controlPlaneEndpoint address.
* The certificates that must be shared among control plane instances are provided.To see the stack trace of this error execute with --v5 or higher
7.5.2解决办法
查看kubeadm-config.yaml
kubectl -n kube-system get cm kubeadm-config -oyaml
发现没有controlPlaneEndpoint
添加controlPlaneEndpoint
kubectl -n kube-system edit cm kubeadm-config
大概在这么个位置
kind: ClusterConfiguration
kubernetesVersion: v1.25.3
controlPlaneEndpoint: 192.168.11.86 #当前需要添加为master节点的ip地址
然后再在准备添加为master的节点k8s-master1上执行kubeadm join的命令
7.6添加成功以后可以看见2个master节点和1个worker节点 后记 k8s的部署确实很复杂有可能不同的系统版本依赖版本都可能导致问题的出现笔者这里是根据当前操作系统部署如果你在安装过程中可能遇到一些奇奇怪怪的问题欢迎下方留言我们一起探讨。文中可能也有一些漏洞欢迎指出问题万分感谢。
