集群化实战之——CentOS 7下使用kubeadm安装kubernetes多机集群(版本1.14)

最近正在学习Kubernetes,但发现官方的文档仅限于配置单机集群(即Master和Node位于同一台机器上),依旧无法判断哪部分属于Master、哪部分属于Node,而互联网上的相关教程、资源大多还停留在1.3、1.7版本,与最新的版本存在大量差异,且内容不够详细。
在踩了无数坑,与Kubernetes激战了好几天后,我决定将1.14版本Kubernetes通过kubeadm的完整安装过程分享出来,希望对大家有所帮助。

0x01 准备阶段

在安装前,你需要准备以下材料:

1.两台及以上虚拟机/物理机/云主机

两台机器一台作为Master,一台作为Node,但也可以只使用一台进行安装,只是将master与slave的安装过程在一台服务器上进行(不清楚为什么官方教程要将两个安装过程合在一起,反而加深了迷惑)。

该教程使用五台服务器进行(也可以不需要这么多),配置如下:
– Master 192.168.1.40 (master-kubernetes.local)
– Node-01 192.168.1.41 (worker-01-kubernetes.local)
– Node-02 192.168.1.42 (worker-02-kubernetes.local)
– Node-03 192.168.1.43 (worker-03-kubernetes.local)
– Node-04 192.168.1.44 (worker-04-kubernetes.local)
其中括号内是该主机的主机名(即域名),所有服务器均为CentOS 7 64 Bit操作系统。每台服务器推荐配置双核处理器/2G内存及以上的性能。

如果使用虚拟机,需要开启桥接网卡模式,不可以使用NAT模式,参考:
VirtualBox 开启桥接网卡模式
VMware Workstation 开启桥接网卡模式

2. 科学上网

由于Kubernetes是Google的产品(与Go大同小异),很多关键的包(例如部署集群时的组件)存储在Google的Docker Registry上,这就造成了在国内部署Kubernetes极为麻烦。

此处建议有条件在路由器(例如OpenWRT)上针对IP地址进行代理,也可以在宿主机上安装一个Privoxy,来为测试用的虚拟机提供HTTP代理,后者教程见这篇文章

针对这一硬需求,我将部署时所使用的Docker镜像保存成了独立文件(更新日期20190614),需要的读者可以直接下载。

下载地址:
链接:https://pan.baidu.com/s/1VDGJMnhq7yktN-lxuisiGA
提取码:ahpc

0x02 前期配置阶段

该配置需要在Master和Node上同时进行,如果嫌麻烦,可以先开一台虚拟机,然后使用虚拟机的复制功能直接复制(注意复制后修改主机名与ip地址)

此处以Master为例。

1. 修改主机名

对于CentOS 7,原先修改主机名的方式已不再可用,需要使用hostnamectl工具对主机名进行修改。
运行如下命令,修改主机名,重启后正式生效。

hostnamectl set-hostname master-kubernetes.local

其中master-kubernetes.local为我们所配置的主机名。

2. 配置avahi

配置主机名的作用是希望在IP地址变更的情况下,依然能够找到服务器,同时也可以规范服务器环境,是运维过程中极为有效的实践规范。

而avahi是mDNS协议在Linux上的实现,用于自动注册局域网内设备的DNS,即访问内网设备可以通过内部域名,这样就算IP地址变更,也可以准确的找到设备。

安装avahi的方式极为简单:

yum install -y avahi

安装后启动avahi服务:

systemctl enable avahi-daemon
systemctl start avahi-daemon
systemctl status avahi-daemon

出现如下提示则安装成功:

● avahi-daemon.service - Avahi mDNS/DNS-SD Stack
   Loaded: loaded (/usr/lib/systemd/system/avahi-daemon.service; enabled; vendor preset: enabled)
   Active: active (running) since 四 2019-06-13 22:53:05 CST; 18h ago
 Main PID: 2884 (avahi-daemon)
   Status: "avahi-daemon 0.6.31 starting up."
    Tasks: 2
   Memory: 992.0K
   CGroup: /system.slice/avahi-daemon.service
           ├─2884 avahi-daemon: running [master-kubernetes.local]
           └─2890 avahi-daemon: chroot helper

安装成功后,我们可以尝试在自己的主机上查看配置是否生效:

ping master-kubernetes.local

如果域名被成功解析,且ping正常,则说明avahi安装完成,可以进行下一步的操作。

3. 配置防火墙

如果是初学kubernetes,我的建议是暂时先关闭防火墙,命令如下所示:

systemctl stop firewalld
systemctl disable firewalld

但注意,不推荐直接卸载firewalld甚至是其依赖的iptables,因为后续的配置还需要该防火墙实现虚拟路由。

如果服务部署在外网,不得不配置防火墙,请在Master与Node上执行如下命令:

firewall-cmd --zone=public --add-port=2379-2380/tcp --permanent     # etcd所使用的API端口
firewall-cmd --zone=public --add-port=6443/tcp --permanent      # apiserver所使用的API端口
firewall-cmd --zone=public --add-port=10250-10253/tcp --permanent       # kubelet/kube-scheduler/kube-controller-manager所使用的API端口
firewall-cmd --zone=public --add-port=30000-32767/tcp --permanent       # nodeport服务所使用的API端口
firewall-cmd --reload
firewall-cmd --zone=public --list-ports

随着时间与版本改变,以上端口配置可能与实际情况不相符,如果配置有Service或者LoadBalancer,则需要打开更多的端口,请灵活处理,本机测试阶段依旧推荐直接关闭防火墙,以避免因防火墙造成的诸多困惑。

4. 关闭SELinux

事实上如果直接采用默认配置,无需关闭SELinux也可正常运行,但如果要进行apiserver端口修改、配置文件编辑甚至修改存储目录等操作,配置SELinux将成为一个巨大负担。而通常情况下,SELinux的关闭并不会造成服务器安全受到极大影响,建议关闭:

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config && setenforce 0

5. 同步系统时间,并修改时区为北京时区

如果使用海外的云服务器,经常会因为忘记修改时区,造成日志信息等时间出现错乱,导致安装过程中的困惑,此处一并对系统时间进行同步、且修改时区。

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
yum install -y ntpdate && ntpdate asia.pool.ntp.org

6. 注册所有服务器的DNS信息

由于kubeadm在init/join时会对域名的DNS进行查询(不通过mDNS,直接查询上游DNS服务器),如果查询失败则停止初始化进程。该问题截止到2019年仍然没有得到彻底解决,因此有两种方案可以解决该问题。

6.1 直接修改每台服务器的hosts配置

该方式适用于服务器数量较少或固定的情况,直接修改每个服务器的/etc/hosts文件。以上文提到的配置为例,需要添加如下内容在每台服务器的hosts配置中:

192.168.1.40 master-kubernetes.local
192.168.1.41 worker-01-kubernetes.local
192.168.1.42 worker-02-kubernetes.local
192.168.1.43 worker-03-kubernetes.local
192.168.1.44 worker-04-kubernetes.local

6.2 配置一个新的DNS服务器

如果服务器数量较多,或经常变动,我的建议是搭建一个DNS服务器。该部分较为复杂,且与本文主题无关,因此只留一个教程链接以供参考:链接

7. 关闭SWAP分区

按照CentOS 7的默认配置,安装时会划分与物理内存大小相同(或相关联)的一块磁盘作为SWAP分区,但Kubernetes与SWAP兼容性较差(为了避免内存交换带来的性能降低),如果不是服务器资源稀缺,通常直接关闭SWAP分区即可。

swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

重启后执行free -m检查SWAP分区是否已关闭,如果SWAP信息显示如下,说明SWAP已经关闭:

Swap:             0           0           0

至此服务器基础配置完成,可以开始相关软件的安装。

0x03 基础环境安装

1. 安装Docker

事实上,Kubernetes支持的容器化引擎绝不止Docker一款,目前(2019年)支持的就有Docker、Containerd、LXD、Rkt四种之多。但介于Docker的影响力及其使用价值与易用性,该教程依旧以Docker为例,讲解安装Kubernetes的方法,其他容器化引擎事实上大同小异。

注意:该部分依旧需要在所有服务器上进行相同操作

1.1 配置Docker仓库

wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo

1.2 修改Docker源,加快下载速度

sed -i 's@download.docker.com@mirrors.tuna.tsinghua.edu.cn/docker-ce@g' /etc/yum.repos.d/docker-ce.repo

1.3 下载安装Docker

yum -y install docker-ce

1.4 启动Docker并配置开机自启动

systemctl start docker
systemctl enable docker

2. 安装kubeadm

2.1 配置kubeadm仓库

在终端粘贴下面的命令:

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF

这里使用的是Linux中知名的Heredoc,可以在我写过的一篇文章『浅谈Heredoc及其使用』中学习。

需要注意的是,kubernetes.repo文件的最后一行使用了exclude=kube*配置,这使得默认不带参数的的yum install无法安装kubeadm组件,但也避免了无脑yum update不小心造成kubeadm意外关闭或升级到不兼容的版本。

2.2 安装kubeadm组件

yum -y install kubeadm kubelet kubectl --disableexcludes=kubernetes

2.3 启动相关服务

systemctl start docker
systemctl enable docker
systemctl enable kubelet        # 此处先配置开机自启,稍后初始化时会自动启动,不用手动start

编辑/etc/sysconfig/kubelet文件,写入如下配置,避免因为swap问题导致无法成功安装:

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

2.4 检测iptables相关桥接配置是否启动

cat /proc/sys/net/bridge/bridge-nf-call-ip6tables
cat /proc/sys/net/bridge/bridge-nf-call-iptables

如果都为1,则相关配置启动
若为0,需要编辑/etc/sysctl.conf,并输入以下配置:

net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1

然后执行sysctl -p应用配置,再重复以上过程检查是否桥接配置已经启动。

0x04 Master配置

以上配置完成后,就可以开始对Master进行单独配置。

0. 提前安装所需镜像

由于前文提到不可言说的原因,在初始化阶段所需要下载的Docker镜像无法在国内访问,若无法获得理想的网络环境,可以提前安装所需镜像,地址前文也已经提供。
安装方式很简单,在服务器上应用docker load 文件名即可安装。
所有镜像安装完成后,使用docker images命令查看镜像列表,应该如图所示:

1. 初始化Master

kubeadm init --ignore-preflight-errors=Swap

初始化结束后,kubeadm会返回所需的token和ca-cert-hash,但如果遗失也没关系,接下来的过程就假设我们遗失了token,以带领读者解决更复杂的问题,迅速了解kubeadm。

2. 拷贝默认配置文件,以便在本机使用kubectl

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

3. 安装网络插件flannel

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

过几分钟会在docker images中看到安装完成的flannel镜像,届时可进行下一步操作。

3. 验证安装状态

yum install -y net-tools
netstat -nlp | grep 6443

如果返回如下所示,则说明kube-apiserver成功启动:

tcp6       0      0 :::6443                 :::*                    LISTEN      4451/kube-apiserver 

然后执行kubectl get cs查看组件状态信息,理想结果应该如下所示:

NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   

最后执行kubectl get nodes检查节点状态,理想状态应该为Ready:

NAME                         STATUS   ROLES    AGE   VERSION
master-kubernetes.local      Ready    master   45h   v1.14.3

如果不是Ready,请检查组件是否完全安装,见第0步的截图所示。

0x05 Node配置

0. 提前安装所需镜像

该步骤同上,不再赘述。

1. 获取token与ca-cert-hash

如果还有保存Master初始化时的token与ca-cert-hash,直接复制即可,此处以遗失token和ca-cert-hash为例。

1.1 获取token

在Master下执行如下操作:

kubeadm token list

展示出来的就是Master节点存储的token列表,TTL则为剩余有效时间,初始为24h。
若token过期,可使用kubeadm token create命令新建一个token。

1.2 获取ca-cert-hash

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

返回值则是本地ca的ca-cert-hash。

2. 加入Master

kubeadm join master-kubernetes.local:6443 --token `你的Token` --discovery-token-ca-cert-hash sha256:`你的ca-cert-hash`--ignore-preflight-errors=Swap

3. 验证安装状态

回到Master,使用kubectl get nodes命令查看Node状态,若Node状态为Ready,则说明安装成功。

0x06 结语

至此,kubernetes集群已经搭建安装完成,kubeadm帮助我们在后台完成了Master初始化与Node连接Master背后的所有操作。

如有不明白的地方,欢迎给我发邮件,我会耐心回答。我的邮件是loli#lurenjia.in(替换掉#为@避免spam)。

如果这篇文章帮到了你,不妨请我喝一杯咖啡:

发表评论

电子邮件地址不会被公开。 必填项已用*标注