「云原生」穩(wěn)定性和可擴展性更強的k8s高可用方案講解與實戰(zhàn)操作

作者：大數(shù)據(jù)老司機 2022-11-28 17:22:32

云計算

云原生 在前面我的文章里或者網(wǎng)上其它資料講高可用方案，基本上大多數(shù)使用Keepalived VIP的方案，但是這種方案并不是最佳的，還有更優(yōu)的高可用方案，下面將詳細介紹。

成都創(chuàng)新互聯(lián)公司不只是一家網(wǎng)站建設的網(wǎng)絡公司；我們對營銷、技術(shù)、服務都有自己獨特見解，公司采取“創(chuàng)意+綜合+營銷”一體化的方式為您提供更專業(yè)的服務！我們經(jīng)歷的每一步也許不一定是最完美的，但每一步都有值得深思的意義。我們珍視每一份信任，關注我們的成都網(wǎng)站設計、做網(wǎng)站質(zhì)量和服務品質(zhì)，在得到用戶滿意的同時，也能得到同行業(yè)的專業(yè)認可，能夠為行業(yè)創(chuàng)新發(fā)展助力。未來將繼續(xù)專注于技術(shù)創(chuàng)新，服務升級，滿足企業(yè)一站式成都全網(wǎng)營銷推廣需求，讓再小的品牌網(wǎng)站建設也能產(chǎn)生價值！

一、概述

在前面我的文章里或者網(wǎng)上其它資料講高可用方案，基本上大多數(shù)使用Keepalived VIP的方案，但是這種方案并不是最佳的，還有更優(yōu)的高可用方案，下面將詳細介紹。

二、架構(gòu)

三、開始部署

（1）節(jié)點信息

hostname	IP	角色
local-168-182-110	192.168.182.110	Master
local-168-182-111	192.168.182.110	node
local-168-182-112	192.168.182.110	node
local-168-182-113	192.168.182.113	master
local-168-182-130	192.168.182.130	master

（2）前期準備（所有節(jié)點）

1）配置hosts

192.168.182.110 local-168-182-110
192.168.182.111 local-168-182-111
192.168.182.112 local-168-182-112
192.168.182.113 local-168-182-113
192.168.182.130 local-168-182-130

2）配置互信

# 直接一直回車就行
ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub root@local-168-182-110
ssh-copy-id -i ~/.ssh/id_rsa.pub root@local-168-182-111
ssh-copy-id -i ~/.ssh/id_rsa.pub root@local-168-182-112
ssh-copy-id -i ~/.ssh/id_rsa.pub root@local-168-182-113
ssh-copy-id -i ~/.ssh/id_rsa.pub root@local-168-182-130

3）時間同步

yum install chrony -y
systemctl start chronyd
systemctl enable chronyd
systemctl status chronyd
chronyc sources

4）關閉防火墻

systemctl stop firewalld
systemctl disable firewalld

5）禁用SELinux

# 臨時關閉
setenforce 0
# 永久禁用
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

6）關閉swap

# 臨時關閉；關閉swap主要是為了性能考慮
swapoff -a
# 可以通過這個命令查看swap是否關閉了
free
# 永久關閉        
sed -ri 's/.*swap.*/#&/' /etc/fstab

7）設置bridge-nf-call-iptables

cat <overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 設置所需的 sysctl 參數(shù)，參數(shù)在重新啟動后保持不變
cat <net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 應用 sysctl 參數(shù)而不重新啟動
sudo sysctl --system

（3）安裝容器docker（所有節(jié)點）

# 配置yum源
cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/
# centos7
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# 安裝yum-config-manager配置工具
yum -y install yum-utils
# 設置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安裝docker-ce版本
yum install -y docker-ce
# 啟動并設置開機自啟
# 設置為開機自啟并現(xiàn)在立刻啟動服務 --now：立刻啟動服務
systemctl enable --now docker

# 查看版本號
docker --version
# 查看版本具體信息
docker version

# Docker鏡像源設置
# 修改文件 /etc/docker/daemon.json，沒有這個文件就創(chuàng)建
# 配置docker cgroup 驅(qū)動程序systemd
# 添加以下內(nèi)容后，重啟docker服務：
cat >/etc/docker/daemon.json<{
   "registry-mirrors": ["http://hub-mirror.c.163.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
# 加載
systemctl restart docker

# 查看
systemctl status docker

（4）配置k8s yum源（所有節(jié)點）

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

（5）開始安裝kubeadm，kubelet和kubectl（所有節(jié)點）

# 查找所有的版本，這里選擇1.23.x版本
yum --showduplicates list kubelet

# disableexcludes=kubernetes：禁掉除了這個kubernetes之外的別的倉庫
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6 --disableexcludes=kubernetes

# 設置為開機自啟并現(xiàn)在立刻啟動服務 --now：立刻啟動服務
systemctl enable --now kubelet

# 查看狀態(tài)，這里需要等待一段時間再查看服務狀態(tài)，啟動會有點慢
systemctl status kubelet

# 查看版本
kubectl version
yum info kubeadm

（6）使用 kubeadm 初始化集群（第一個master節(jié)點）

最好提前把鏡像下載好，這樣安裝快

docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.6
docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.6
docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.6
docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.23.6
docker pull registry.aliyuncs.com/google_containers/pause:3.6
docker pull registry.aliyuncs.com/google_containers/etcd:3.5.1-0
docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6

集群初始化

kubeadm init \
  --apiserver-advertise-address=192.168.182.110 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.23.6 \
  --control-plane-endpoint=192.168.182.110 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16 \
  --v=5
# –image-repository string：    這個用于指定從什么位置來拉取鏡像（1.13版本才有的），默認值是k8s.gcr.io，我們將其指定為國內(nèi)鏡像地址：registry.aliyuncs.com/google_containers
# –kubernetes-version string：  指定kubenets版本號，默認值是stable-1，會導致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.22.1）來跳過網(wǎng)絡請求。
# –apiserver-advertise-address  指明用 Master 的哪個 interface 與 Cluster 的其他節(jié)點通信。如果 Master 有多個 interface，建議明確指定，如果不指定，kubeadm 會自動選擇有默認網(wǎng)關的 interface。這里的ip為master節(jié)點ip，記得更換。
# –pod-network-cidr             指定 Pod 網(wǎng)絡的范圍。Kubernetes 支持多種網(wǎng)絡方案，而且不同網(wǎng)絡方案對  –pod-network-cidr有自己的要求，這里設置為10.244.0.0/16 是因為我們將使用 flannel 網(wǎng)絡方案，必須設置成這個 CIDR。
# --control-plane-endpoint     cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這里配置hosts映射：127.0.0.1   cluster-endpoint。 這將允許你將 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并將相同的 DNS 名稱傳遞給 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的負載均衡器的地址。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看節(jié)點信息

kubectl get nodes

發(fā)現(xiàn)節(jié)點是NotReady狀態(tài)，查看日志是因為沒有裝CNI網(wǎng)絡插件，接下來就開始安裝Calico 網(wǎng)絡插件，當然也可以選擇其它網(wǎng)絡插件。

（7）安裝Calico網(wǎng)絡插件

wget https://docs.projectcalico.org/manifests/calico.yaml
kubectl apply -f calico.yaml

# 查看
kubectl get all -n kube-system|grep calico

# 等calico pod都正常了，再查看節(jié)點狀態(tài)
kubectl get pods -A
kubectl get nodes

（8）配置IPVS（所有節(jié)點）

1）加載ip_vs相關內(nèi)核模塊

modprobe -- ip_vs
modprobe -- ip_vs_sh
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr

所有節(jié)點驗證開啟了ipvs：

lsmod |grep ip_vs

2）安裝ipvsadm工具

yum install ipset ipvsadm -y

3）編輯kube-proxy配置文件，mode修改成ipvs

kubectl edit  configmap -n kube-system  kube-proxy

4）重啟kube-proxy

# 先查看
kubectl get pod -n kube-system | grep kube-proxy
# 再delete讓它自拉起
kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'
# 再查看
kubectl get pod -n kube-system | grep kube-proxy

（9）master節(jié)點加入集群

【問題】

One or more conditions for hosting a new control plane instance is not satisfied. unable to add a new control plane instance to a cluster that doesn't have a stable controlPlaneEndpoint address

【解決】添加如下配置：

# controlPlaneEndpoint: 192.192.168.110
kubectl edit cm kubeadm-config -n kube-system

開始執(zhí)行下面的命令將master節(jié)點加入集群

# 在第一個master節(jié)點上執(zhí)行以下獲取執(zhí)行命令
# 證如果過期了，可以使用下面命令生成新證書上傳，這里會打印出certificate key，后面會用到
CERT_KEY=`kubeadm init phase upload-certs --upload-certs|tail -1`

# 其中 --ttl=0 表示生成的 token 永不失效. 如果不帶 --ttl 參數(shù), 那么默認有效時間為24小時. 在24小時內(nèi), 可以無數(shù)量限制添加 worker.
echo `kubeadm token create --print-join-command --ttl=0` " --control-plane --certificate-key $CERT_KEY --v=5"

# 拿到上面打印的命令在需要添加的節(jié)點上執(zhí)行

# --control-plane 標志通知 kubeadm join 創(chuàng)建一個新的控制平面。加入master必須加這個標記
# --certificate-key ... 將導致從集群中的 kubeadm-certs Secret 下載控制平面證書并使用給定的密鑰進行解密。這里的值就是上面這個命令（kubeadm init phase upload-certs --upload-certs）打印出的key。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

等網(wǎng)絡插件自動安裝完后，再查看節(jié)點狀態(tài)

kubectl get nodes

（10）修改master節(jié)點指向自己apiserver

1）修改配置

cd /etc/kubernetes
# 修改/etc/kubernetes/admin.conf，/etc/kubernetes/kubelet.conf文件中的server ip改成127.0.0.1
vi /etc/kubernetes/admin.conf
vi /etc/kubernetes/kubelet.conf

# 覆蓋配置
cp /etc/kubernetes/admin.conf ~/.kube/config

2）刪除舊的證書,生成新證書

cd /etc/kubernetes/pki

# 先備份
mv apiserver.key apiserver.key.bak
mv apiserver.crt apiserver.crt.bak

# 使用如下命令生成，分別在三個master節(jié)點上執(zhí)行
kubeadm init phase certs apiserver --apiserver-advertise-address 192.168.182.110 --apiserver-cert-extra-sans "127.0.0.1,10.1.0.1"

kubeadm init phase certs apiserver --apiserver-advertise-address 192.168.182.113 --apiserver-cert-extra-sans "127.0.0.1,10.1.0.1"

kubeadm init phase certs apiserver --apiserver-advertise-address 192.168.182.130 --apiserver-cert-extra-sans "127.0.0.1,10.1.0.1"
#  --apiserver-cert-extra-sans "127.0.0.1"：設置了這個，之后加入節(jié)點驗證證書階段就不會報錯了。

3）修改apiserver

kubectl -n kube-system edit cm kubeadm-config -o yaml

4）修改kube-prxoy配置

kubectl edit cm kube-proxy -oyaml -n kube-system

重啟

kubectl delete pod -n kube-system `kubectl get pods  -n kube-system|grep kube-proxy|awk '{print $1}'`

5）重啟docker和kubelet

systemctl restart docker kubelet

（11）node節(jié)點上安裝nginx

這里使用nginx四層代理

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache
yum install epel-release
yum -y install nginx
yum -y install nginx-all-modules.noarch

配置nginx，在nginx.conf添加如下配置：

stream {                          #實現(xiàn)四層代理功能
    upstream kube_apiserver {            #定義集群，kube_apiserver是集群名稱，可自行定義
        least_conn;# 默認調(diào)度策略是輪詢，在輪詢中，如果服務器down掉了，會自動剔除該服務器。
        server local-168-182-110:6443 max_fails=3 fail_timeout=30s;   #集群組是三臺服務器k8s apiserver組成
        server local-168-182-113:6443 max_fails=3 fail_timeout=30s;
        server local-168-182-130:6443 max_fails=3 fail_timeout=30s;
    }
    server {                            #定義一個服務
        listen 127.0.0.1:6443;             #需要監(jiān)聽的端口
        proxy_pass kube_apiserver;       #調(diào)用集群
        proxy_connect_timeout 10s;                  # 連接超時時間
        proxy_timeout 300s;                         # 端口保持時間
    }
}

（12）node節(jié)點加入集群

# 在第一個master節(jié)點上執(zhí)行以下獲取執(zhí)行命令
# 證如果過期了，可以使用下面命令生成新證書上傳，這里會打印出certificate key，后面會用到
CERT_KEY=`kubeadm init phase upload-certs --upload-certs|tail -1`

# 其中 --ttl=0 表示生成的 token 永不失效. 如果不帶 --ttl 參數(shù), 那么默認有效時間為24小時. 在24小時內(nèi), 可以無數(shù)量限制添加 worker.
echo `kubeadm token create --print-join-command --ttl=0` " --certificate-key $CERT_KEY --v=5"
# 示例如下：
kubeadm join 127.0.0.1:6443 --token esczfh.6ckynzi6wfj8jhnk --discovery-token-ca-cert-hash sha256:bc8fb85184ed235b88afdba38f0a17976d353abb10d0739d25df452745d1eed8  --certificate-key a126867ad4d91721f157660df77cdea7862ebda8371280c3025c4cc45c23b85f --v=5

修改/etc/kubernetes/kubelet.conf配置

重啟

systemctl restart kubelet

等網(wǎng)絡插件自動安裝完后，再查看節(jié)點狀態(tài)

kubectl get nodes
kubectl get pods -A

（13）卸載

kubeadm reset
rm -rf /etc/kubernetes/*
rm -fr ~/.kube
rm -fr /var/lib/etcd

四、高可用故障模式測試

（1）master節(jié)點故障模擬（一個master故障）

# 關機192.168.182.110
showdown -h now
# 在其它master節(jié)點上查看節(jié)點狀態(tài)
kubectl get nodes

【結(jié)論】如上圖可知，掛一個master節(jié)點不影響集群。

（2）master節(jié)點故障模擬（兩個master故障）

# 關機192.168.182.113
showdown -h now
# 在其它master節(jié)點上查看節(jié)點狀態(tài)
kubectl get nodes

【結(jié)論】如上圖可知，掛兩個master節(jié)點，整個集群不可用，還是之前說的，三個master節(jié)點只允許掛一個master節(jié)點，這里就不細說了。

文章標題：「云原生」穩(wěn)定性和可擴展性更強的k8s高可用方案講解與實戰(zhàn)操作
瀏覽地址：http://uogjgqi.cn/article/dppjeog.html