使用kubeadm进行单master(single master)和高可用(HA)kubernetes集群部署

栏目: 服务器 · 发布时间: 5年前

内容简介:使用kubeadm进行k8s的部署主要分为以下几个步骤:在所有节点上都先要做好环境的准备,这里以debian为例,整理了安装docker和kubeadm的相关命令。这个里面主要需要解决的是国内源的问题。以上命令在所有节点上都需要执行下。

kubeadm部署k8s

使用kubeadm进行k8s的部署主要分为以下几个步骤:

  • 环境预装: 主要安装 docker 、kubeadm等相关工具。
  • 集群部署: 集群部署分为single master(单master,只有一个master节点)和高可用HA集群部署两种模式。主要部署k8s的相关组件。本文将分别做介绍。
  • 网络部署: 部署网络环境。本文以flannel为例进行部署。

环境预装

在所有节点上都先要做好环境的准备,这里以debian为例,整理了安装docker和kubeadm的相关命令。这个里面主要需要解决的是国内源的问题。

## 准备环境
swapoff -a
systemctl stop firewalld
systemctl disable firewalld

echo "net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1" > /etc/sysctl.d/k8s.conf
sysctl -p /etc/sysctl.d/k8s.conf
modprobe br_netfilter

## 更换apt源
mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo "deb http://mirrors.163.com/debian/ stretch main non-free contrib
deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib
deb http://mirrors.163.com/debian/ stretch-backports main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch-updates main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch-backports main non-free contrib
deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib
deb-src http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib" > /etc/apt/sources.list

## 安装docker
apt-get update
apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg2 \
    software-properties-common -y --force-yes
curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add -

apt-key fingerprint 0EBFCD88

add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/debian \
   $(lsb_release -cs) \
   stable"
   
apt-get update
apt-get install docker-ce containerd.io -y

## 使用阿里云安装kubeadm
curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl

## 关闭swap
echo "vm.swappiness=0" >> /etc/sysctl.d/k8s.conf
sysctl -p /etc/sysctl.d/k8s.conf

以上命令在所有节点上都需要执行下。

单master集群部署

单master集群部署是以一个节点作为master节点,其他的节点作为node角色加入到集群中。

首先在master节点上,通过kubeadm进行集群的初始化。

nodename默认会使用hostname,这里使用ip作为nodename,在查看node节点时会更加直观一些。 这里面基本都使用的是国内的azure提供的镜像源,镜像下载速度比较快一些

cat << EOF > /root/kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta1
kind: InitConfiguration
nodeRegistration:
  kubeletExtraArgs:
    pod-infra-container-image: gcr.azk8s.cn/google_containers/pause-amd64:3.1
---
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
imageRepository: gcr.azk8s.cn/google_containers
kubernetesVersion: v1.14.2
networking:
  podSubnet: 10.244.0.0/16
EOF

nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm init --config=kubeadm-config.yaml --apiserver-advertise-address=kubemaster.cluster.local --node-name $nodename > kubeadm.log

在master中查看kubeadm.log中的最后几行,可以看到其他节点加入集群的命令。

root@i-5i2nhchleypb9h6oofb9h5suy:~# tail -n 5 kubeadm.log 
Then you can join any number of worker nodes by running the following on each as root:

kubeadm join kubemaster.cluster.local:6443 --token br1lyz.kgnz5d6apvtcvdlg \
--discovery-token-ca-cert-hash sha256:a8a80875b68ddd8d8e0cd794daa1b81a7893eebceca77c3d5f9074b2dc7e109b

这时切换到其他的node节点,可以直接使用以下命令,加入集群。

nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token bbnth6.tyxpf0ec27r5y5b8 \
    --discovery-token-ca-cert-hash sha256:5a9d6d25558c0e5031d4d6a69b555f0db8dd0ac7e798b9f823f7f33352748ae6 --node-name $nodename

node节点全部加入后,即完成节点的部署。

高可用(HA)集群部署

高可用集群目前支持两种拓扑结构,一种是etcd在master节点中部署,一种是etcd在另外的节点中进行部署。在小规模集群中,其实采用前者就可以了。本文也是采用这种方式。

高可用集群一般需要三个以上的master节点组成,以及若干个node节点组成。其中master节点需要一个负载均衡器进行流量的分发。但是在小规模集群中,额外再部署一个负载均衡器无疑会增加部署的复杂度。这里我使用了一个偷懒的方式,就是不使用真实的负载均衡器,而是使用域名。这里我有三个节点,我在每个节点的/etc/hosts中做了如下配置。这样 kubemaster.cluster.local 就可以解析到三个节点上。

11.62.68.3    kubemaster.cluster.local
11.62.68.4    kubemaster.cluster.local
11.62.68.5    kubemaster.cluster.local

这里为了防止连接都压到同一台上,可以在不同的节点上调整hosts中的配置顺序。

这里同前面相似,用以下命令进行集群的初始化。这里特别注意下在配置中同上面最大的区别在于加入了 controlPlaneEndpoint: "kubemaster.cluster.local:6443" 配置。实现对于集群控制面的负载均衡器的配置。

cat << EOF > /root/kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta1
kind: InitConfiguration
nodeRegistration:
  kubeletExtraArgs:
    pod-infra-container-image: gcr.azk8s.cn/google_containers/pause-amd64:3.1
---
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
imageRepository: gcr.azk8s.cn/google_containers
kubernetesVersion: v1.14.2
controlPlaneEndpoint: "kubemaster.cluster.local:6443"
networking:
  podSubnet: 10.244.0.0/16
EOF

nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs --node-name $nodename > kubeadm.log

在完成初始化后,可以查看相关日志。可以看到同单master部署模式的情况不同,高可用集群中有两个命令。

root@i-5i2nhchleypb9h6oofb9h5suy:~# tail -n 15 kubeadm.log 
You can now join any number of the control-plane node running the following command on each as root:

  kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
    --discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb \
    --experimental-control-plane --certificate-key b73eba61d73c35ca4de43b9dd10a7db88023cbd767c98cc1d19489829ea0fc03

Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use 
"kubeadm init phase upload-certs --experimental-upload-certs" to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
    --discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb

第一个是加入master的方式。也就是说,通过第一个命令加入后,该节点将会作为master加入到集群中。这里我们使用该命令即可将节点加入到master中,作为master的节点之一。

nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token pcumbv.qwa7uwzr7m7cijxy \
    --discovery-token-ca-cert-hash sha256:bae4c6e70cc92cc6cba66bc96d48bf0c5a45fddf83e90b89eea519fc4bad16ac \
    --experimental-control-plane --certificate-key 33f387801d51c0a743353357b138cf4ad70fd3acaa7a6ccec9835627773f1cb7 --node-name $nodename

当然,第二个同单master模式就相似了。

nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
    --discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb --node-name $nodename

master节点准备

在master节点上可以做一些相关的准备,方便后面使用kubectl等命令。

systemctl enable kubelet.service

## 为kubectl准备config
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

## 去掉master的污点,使得master节点也可以创建容器
## 该命令可选。如果不想让master执行node的角色,也可以不执行
kubectl taint nodes --all node-role.kubernetes.io/master-

网络安装

这里使用flannel网络。

mkdir -p ~/k8s/
cd ~/k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

## 这里使用quay.azk8s.cn进行进行加速。该命令可选。
sed -i "s/quay.io/quay.azk8s.cn/g" kube-flannel.yml

kubectl apply -f kube-flannel.yml

测试

这里我们尝试在每个节点创建一个容器,然后进行集群部署验证。这里给了一个样例。

cat << EOF > /root/daemonset.yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: debian
spec:
  template:
    metadata:
      labels:
        debian: debian
    spec:
      containers:
      - name: debian
        image: dockerhub.azk8s.cn/library/debian
        command: ["sleep", "999999d"]
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
EOF

kubectl create -f /root/daemonset.yaml

这里我写了一个小 工具 可以自动进行各个节点的容器之间的网络验证,自动统计哪些节点还没有正常运行。后面我会再开源出来放到博客里。

清理命令

有时候安装失败或者清理环境时一些常用的命令,也整理在了下面。

清理环境

该命令主要用于将kubeadm安装的本节点恢复到安装前。需要输入yes确认。该命令适用于master和node节点。

kubeadm reset

清理cni0网桥

重复安装有时候会导致cni0的配置错误,可以通过删除cni0网桥,然后重新创建实现故障恢复。

apt-get install bridge-utils -y
ifconfig cni0 down
brctl delbr cni0
systemctl restart kubelet

清理iptables

kubeadm清理时不会清理iptables,里面会有很多冗余的规则,可以使用该命令清理。该命令慎用。

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

清理bridge的残余信息

在使用flannel时,有时mac信息过时没能更新,导致无法将消息转发到目标机器的flannel.1。可以在检查后,通过bridge命令清理过期的mac信息。

flannel的具体原理和排障可以参考我之前的博客,《flannel vxlan工作基本原理及常见排障思路》。其中介绍更为详细。

route -n 
arp -e
bridge fdb show
bridge fdb del 76:21:60:e5:ea:0b dev flannel.1

参考资料

作者:xuxinkun

出处:xinkun的博客

链接: https://xuxinkun.github.io/

本文版权归作者所有,欢迎转载。

未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

欢迎扫描右侧二维码关注微信公众号 xinkun的博客 进行订阅。也可以通过微信公众号留言同作者进行交流。

使用kubeadm进行单master(single master)和高可用(HA)kubernetes集群部署

以上所述就是小编给大家介绍的《使用kubeadm进行单master(single master)和高可用(HA)kubernetes集群部署》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

计算机程序设计艺术(第1卷)

计算机程序设计艺术(第1卷)

[美] 唐纳德·E. 克努特 / 苏运霖 / 国防工业出版社 / 2002-9 / 98.00元

7卷本《计算机程序设计艺术》的第1卷以基本的程序设计概念和技术开始,然后专注于信息结构——计算机内部信息的表示、数据元素之间的结构关系以及如何有效地处理它们,给出了对于模拟、数值方法、符号计算、软件和系统设计的初等应用。书中附有大量习题和答案,标明了难易程序及数学概念的使用。 此新版本增加了几十项简单且重要的算法和技术,并对有关数学预备知识作了大量修改以适应现时研究的趋势。一起来看看 《计算机程序设计艺术(第1卷)》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具