[CentOS7] Kubernetes(k8s) 설치

 

 

 

 

 

 

🚀 Kubernetes 설치

    🔽  CentOS 7

        📦 초기 설정(Master, Node Worker 모두 진행)

setenforce 0

 

sestatus

sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

728x90

최초 위와 같이 SELinux가 활성화 되어 있는지 확인하고, 내려주어야 해요.



이제 부터 가상화로 구성된 Server들에 SSH로 붙어 작업을 진행할게요.

systemctl stop firewalld && systemctl disable firewalld

 

다음은 방화벽이 올라가 있는지 확인하고, 방화벽을 내려 줍니다.

참고로 Network Manager를 내려버리면 인터넷이 끊겨 버리는 문제가 발생합니다.

이번에는 SWAP을 비활성화 시켜주었어요.

swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab

반응형

 

cat <<EOF>> /etc/modules-load.d/k8s.conf
br_netfilter
EOF

 

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

다음으로 위와 같이 Iptables Kernel Option을 활성화 해주었습니다.

 

cat <<EOF>> /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

이번에는 Kubernetes를 위한 yum repository를 설정해 주었어요.
이 곳에서 Kubernetes 관련 프로그램 등을 내려받게 될 것이에요.

 

yum repository 수정 사항이 있기 때문에 yum update 명령어로 최신화 해줍니다.

192.168.32.10 -> $ hostname k8s-master
192.168.32.11 -> $ hostname k8s-wocker1
192.168.32.12 -> $ hostname k8s-wocker2

# 또는 아래 명령어로 hostname 변경

$ hostnamectl set-hostname k8s-master

 

vim /etc/hosts

Hostname File을 수정해 줄게요.
Kubernetes Node들을 모두 등록해 주어야 하는데, 이를 하지 않으면 Kubeadm join 시 오류가 발생해요.

주니하랑은 일단 Master와 모든 Node에 hosts File을 위와 같이 수정해 주었어요.

Hostname으로 Ping Test 시 정상적으로 Ping이 가는것을 확인할 수 있어요.

 

 

        📦 Docker 설치 및 실행 (Master, Node Worker 모두 진행)

yum install -y yum-utils device-mapper-persistent-data lvm2

 

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum install -y docker

위와 같이 Docker와 함께 필요한 Package들을 내려받기 하였어요.

 

systemctl enable --now docker && systemctl start docker

Docker가 Booting 시 자동으로 기동되게 하고, 지금 바로 기동되게 해 주었어요.

useradd dockeradmin

Docker 전용 계정을 위와 같이 만들어 주었어요.

passwd dockeradmin

Docker 관리자 계정의 Password를 만들어 주었어요.

Docker group을 만들고, dockeradmin을 해당 group 안에 넣어주었어요.

curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose

curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose

 

chmod +x /usr/local/bin/docker-compose

ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

docker-compose -version

이번에는 Docker compose를 설치해 주었어요.

docker run hello-world

Docker가 정상적으로 설치 되었는지 확인해 주었어요.

    🔽  Kubernetes 설치

        📦 Master / Node 모두 진행

1. 1.15 Version 설치

yum install -y kubeadm-1.15.5-0.x86_64 kubectl-1.15.5-0.x86_64 kubelet-1.15.5-0.x86_64 --disableexcludes=kubernetes

2. 1.20 Version 설치

yum install -y kubeadm-1.20.5-0.x86_64 kubectl-1.20.5-0.x86_64 kubelet-1.20.5-0.x86_64 --disableexcludes=kubernetes

 

주니하랑은 1.20 Version으로 설치를 진행하였어요.

 

 

    🔽  설정

        📦 Master

kubeadm 초기화를 하려고 했더니 아래와 같이 Error가 발생했어요.
최소 CPU 개수와 Memory 크기가 맞지 않는다는 내용이에요.

주니하랑은 해당 가상 머신을 설정할 때, CPU 개수 1개와 Memory를 1024MB 로 맞추어주었는데, 이에 대한 문제가 발생한 것이에요.

 

CPU 개수 변경

 

Memory 크기 변경

 

kubeadm init --pod-network-cidr=10.96.0.0/16 --apiserver-advertise-address={Master Server IP}

위와 같이 정상 작업이 되는 것을 확인할 수 있어요.




만약 위의 명령어를 실행했는데, 다른 오류가 난다면 kubeadmin init 명령어를 먼저 실행해 주세요.

systemctl enable --now kubelet

 

• apiserver-advertise-address : master1.net의 IP 주소
• pod-network-cidr : Flannel 에서 권장하는 네트워크 대역

 

이렇게 사용자 설정과 kubeadmin join 명령어로 각각의 Node들이 Master Node에 Join할 수 있는 명령어와 Token 값이 생성된 걸 확인할 수 있어요.

위에서 나온 명령어 그대로 Wocker Node에서 실행을 해 줍니다.

 

Kubernetes 환경 변수 설정을 해 주었어요.
그런 뒤 모든 PODS가 Running 상태인지 확인해 주었어요.

 

kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

 

kubectl get pods --all-namespaces

이번에는 Calico 기본 설치를 진행 해 주었어요.
(Kubernetes Cluster Networking Plugin 설치)

그런 뒤 모든 PODS가 Running 상태인지 확인해 주었어요.

Calico는 기본적으로 192.68.0.0/16 대역을 사용해요.
그렇기 때문에 IP가 중복된다는 Error가 난다면 위의 방법(Kubectl apply) 말고, calico.yaml File을 내려받기 한 뒤 Code를 수정해준 뒤 Calico를 설치해 주면 되요.

curl -O https://docs.projectcalico.org/v3.8/manifests/calico.yaml  
sed s/192.168.0.0\\/16/10.96.0.0\\/12/g -i calico.yaml
kubectl apply -f calico.yaml

    🔽  설정

        📦 Woker Node

 

kubectl get nodes

master와 Wocker Node들에 상태를 확인해 주었어요.

 

    🔽  Dashboard 설치

        📦 Master

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml

최초 위와 같이 Program을 설치하여 줍니다.

nohup kubectl proxy --port=8000 --address={Master IP} --accept-hosts='^*$' >/dev/null 2>&1 &

그런 뒤 위와 같이 Proxy 설정을 해 주었어요.

 

kubectl get services -n kubernetes-dashboard

kubectl proxy

Dashboard Service가 정상적으로 구동중인지 확인한 뒤 Proxy를 기동하여 주었어요.

curl http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/

다른 터미널을 열어 위와 같이 API 통신을 확인한 결과 정상 통신이 되는 것을 확인할 수 있어요.

위의 curl은 kube-proxy를 통해 API Server로 https:kubernetes-dashboard: 요청을 보내 Html 응답을 반환해 준 것이에요.

 

 

    🔽  TEST

        📦 Master

kubectl run nginx-test --image=nginx --port 80 --generator=run-pod/v1

최초 POD를 실행하여 주었어요.

 

kubectl expose pod nginx-test 
kubectl get services

그런 뒤 위와 같이 Service 정보를 확인해 보았어요.

kubectl edit service nginx-test # (ClusterIp -> NodePort) - 변경 전

kubectl edit service nginx-test # (ClusterIp -> NodePort) - 변경 후

Service Type을 변경하여 줍니다.

🧐 참고 자료

https://bono915.tistory.com/258