쿠버네티스 : Terraform으로 인스턴스 관리 + Kubespray와 Ansible로 마스터1대, 워커 2대 연결

Terraform 사용해서 EC2 인스턴스(마스터 1대 + 워커 노드 2대) 생성 

EC2(Terraform 실행할 곳)에 IAM 등록 (임시 EC2에서 Terraform 실행시켰는데 Terraform을 실행하는 노드가 또 있겠지?)

IAM 역할 만들기

AWS 콘솔 → 검색창에 IAM 입력 → IAM 콘솔로 이동

왼쪽 메뉴에서 [역할] → [역할 만들기] 클릭

신뢰할 주체 선택:
AWS 서비스 → EC2 선택 → 다음

권한 설정: 아래 중 하나 선택

실습 : AmazonEC2FullAccess

더 안전하게 하려면: AmazonEC2ReadOnlyAccess + AmazonVPCFullAccess

이름: 예) terraform-k8s-role

완료 후 역할 생성

ec2 생성하고 ip주소 확인해서 직접 넣어주기 헷갈린다면(맨 아래에 직접하는 방법있음) Terraform 을 사용해보자 

provider "aws" {
  region = "원하는리전입력" 
}

variable "key_name" {
  default = "퍼블릭키이름(마스터와 워커가 통신하는데 사용)"
}

variable "my_ip" {
  description = "Your IP address for SSH access"
  default     = "내 IP 주소/32"  
}

# 보안 그룹 설정 (마스터와 워커 모두 같은 보안 그룹 사용)
# 마스터 따로 워커 따로 하는 것도 좋을 듯 
resource "aws_security_group" "k8s_sg" {
  name        = "k8s-cluster-sg"
  description = "Security group for Kubernetes cluster"

  # SSH (22) - 내 IP에서만 SSH 접근 허용
  ingress {
    from_port   = 22
    to_port     = 22
    protocol    = "tcp"
    cidr_blocks = [var.my_ip]  # 내 IP 주소에서만 SSH 허용
  }

  # SSH (22) - 같은 보안 그룹 내에서 SSH 접근 허용
  ingress {
    from_port                    = 22
    to_port                      = 22
    protocol                     = "tcp"
    source_security_group_id     = aws_security_group.k8s_sg.id  # 같은 보안 그룹 내에서 접근 허용
  }

  # Kubernetes API (6443) - 같은 보안 그룹 내에서만 접근 허용
  ingress {
    from_port                    = 6443
    to_port                      = 6443
    protocol                     = "tcp"
    source_security_group_id     = aws_security_group.k8s_sg.id
  }

  # etcd (2379) - 같은 보안 그룹 내에서만 접근 허용
  ingress {
    from_port                    = 2379
    to_port                      = 2379
    protocol                     = "tcp"
    source_security_group_id     = aws_security_group.k8s_sg.id
  }

  # 모든 아웃바운드 트래픽 허용
  egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }
}

# 마스터 노드 설정
resource "aws_instance" "master" {
  ami                        = "ami-AMI고유번호(리전에속해있는)"
  instance_type              = "t3.medium"
  key_name                   = var.key_name
  vpc_security_group_ids     = [aws_security_group.k8s_sg.id]  # 같은 보안 그룹
  associate_public_ip_address = true

  tags = {
    Name = "k8s-master"
  }
}

# 워커 노드 설정
resource "aws_instance" "worker" {
  count                      = 2
  ami                        = "ami-AMI고유번호(리전에속해있는)"
  instance_type              = "t3.large"
  key_name                   = var.key_name
  vpc_security_group_ids     = [aws_security_group.k8s_sg.id]  # 같은 보안 그룹
  associate_public_ip_address = false

  tags = {
    Name = "k8s-worker-${count.index + 1}"
  }
}

# 마스터 노드 퍼블릭 IP 출력
output "master_public_ip" {
  value = aws_instance.master.public_ip
}

# 워커 노드 프라이빗 IP 출력
output "worker_private_ips" {
  value = [for instance in aws_instance.worker : instance.private_ip]
}

# 모든 노드의 프라이빗 IP 출력
output "all_private_ips" {
  value = concat(
    [aws_instance.master.private_ip],
    [for instance in aws_instance.worker : instance.private_ip]
  )
}

 

 

cd ~/terraform-k8s
terraform plan  # plan
terraform apply # apply

 

OUTPUT

all_private_ips = [
  "마스터프라이빗IP",
  "프라이빗1 IP",
  "프라이빗2 IP",
]
master_public_ip = "마스터퍼블릭IP"
worker_private_ips = [
  "프라이빗1 IP",
  "프라이빗2 IP",
]

 

마스터 노드에서

 

 

비밀키 (Terraform에 적은 퍼블릭키에 해당하는 프라이빗 키)

 

scp -i 프라이빗.pem 프라이빗.pem ubuntu@마스터퍼블릭IP:~/

mv ~/ 프라이빗.pem ~/.ssh/ 프라이빗.pem
chmod 400 ~/.ssh/ 프라이빗.pem

 

pipx, Ansible, Kubespray 설치

 

1. pipx

# pipx 설치 (안 되어있다면)
sudo apt update
sudo apt install -y pipx
pipx ensurepath

# 터미널 다시 시작하거나 아래 명령으로 즉시 적용
export PATH="$HOME/.local/bin:$PATH"

 

발생했던 오류 : 

× This environment is externally managed ╰─> To install Python packages system-wide, try apt install python3-xyz, where xyz is the package you are trying to install. If you wish to install a non-Debian-packaged Python package, create a virtual environment using python3 -m venv path/to/venv. Then use path/to/venv/bin/python and path/to/venv/bin/pip. Make sure you have python3-full installed. If you wish to install a non-Debian packaged Python application, it may be easiest to use pipx install xyz, which will manage a virtual environment for you. Make sure you have pipx installed. See /usr/share/doc/python3.12/README.venv for more information. note: If you believe this is a mistake, please contact your Python installation or OS distribution provider. You can override this, at the risk of breaking your Python installation or OS, by passing --break-system-packages. hint: See PEP 668 for the detailed specification.

 

원인 : 

Python 3.12 이상에서 Debian/Ubuntu가 시스템 보호를 위해 pip을 제한하는 새로운 정책(PEP 668)을 도입하면서 생김

 

pip3 install --user ansible을 실행했을 때

"이 시스템은 외부 관리되므로 pip로 직접 설치하지 말고, 가상환경(venv) 또는 apt/pipx를 써라"

 

해결 방안 : 

sudo apt install pipx
pipx install ansible

 

2. Ansible 설치

# Ansible 설치
pipx install ansible

 

# 사용 예시
ansible --version

 

3. kubespray 설치

# 작업 디렉토리 생성 및 kubespray 다운로드
mkdir -p ~/k8s-kubespray && cd ~/k8s-kubespray
git clone https://github.com/kubernetes-sigs/kubespray.git
cd kubespray

# kubespray 의존성 설치를 위한 전용 venv 생성
python3 -m venv .venv
source .venv/bin/activate

# kubespray requirements 설치
pip install -r requirements.txt

 

 

# kubespray 디렉토리 진입 시에는 의존성용 가상환경 활성화 필요
cd ~/k8s-kubespray/kubespray
source .venv/bin/activate

deactivate

 

hosts.ini 생성

# (.venv) ubuntu@ip-마스터:~/k8s-kubespray/kubespray/inventory/mycluster$ ls
nano make-hosts.sh
chmod +x make-hosts.sh

 

make-hosts.sh (OUTPUT에 나와있는 IP 주소 참고해서 작성)

#!/bin/bash

# Terraform output에서 값 읽기
MASTER_PRIVATE_IP=$(terraform output -raw all_private_ips | awk -F '"' '{print $2}')
WORKER_PRIVATE_IPS=($(terraform output -json worker_private_ips | jq -r '.[]'))

MASTER_PUBLIC_IP=$(terraform output -raw master_public_ip)
KEY_PATH="~/.ssh/비밀키.pem"  # 필요한 경우 경로 수정 가능

# INI 형식으로 출력
cat <<EOF > ./inventory/mycluster/hosts.ini
[all]
master ansible_host=마스터프라이빗IP ip=마스터프라이빗IP access_ip=마스터퍼블릭IP ansible_ssh_private_key_file=~/.ssh/비밀키.pem
worker1 ansible_host=워커프라이빗IP ip=워커프라이빗IP ansible_ssh_private_key_file=~/.ssh/비밀키.pem
worker2 ansible_host=워커프라이빗IP ip=워커프라이빗IP ansible_ssh_private_key_file=~/.ssh/비밀키.pem

[kube_control_plane]
master

[etcd]
master

[kube_node]
worker1
worker2

[k8s_cluster:children]
kube_control_plane
kube_node
EOF

echo "✅ hosts.ini 생성 완료 → ./inventory/mycluster/hosts.ini"

 

 

ansible-playbook 명령 실행하여 쿠버네티스 클러스터 설치 완료 

cd ~/k8s-kubespray/kubespray
source .venv/bin/activate

ansible-playbook -i inventory/mycluster/hosts.ini \
  --become --become-user=root cluster.yml

 

 

kubectl 설치 (Kubespray는 kubeadm과 다르게 자동으로 설치 안해줌)

curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
curl -LO "https://dl.k8s.io/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl.sha256"
echo "$(cat kubectl.sha256)  kubectl" | sha256sum --check
sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl
kubectl version --client

 

KUBECONFIG 설정

kubectl get 명령어들이 클러스터와 통신하기 위해 필요함 

sudo chmod 644 /etc/kubernetes/admin.conf

echo 'export KUBECONFIG=/etc/kubernetes/admin.conf' >> ~/.bashrc
source ~/.bashrc

 

---

 

파드 구성 성공했다!!!

 

 

보안 그룹이랑 마스터 노드 가용성 관련해서 할 말이 많지만 

1년 프로젝트이므로 나중에 적용하는 걸로 하자 

 

---

inventory 자동 생성 

 

1. hosts.txt 정의 

cat <<EOF > ../hosts.txt
[마스터IP]
[워커1 IP]
[워커2 IP]
EOF

 

2. SSH Key 생성 및 hosts.txt에 정의된 IP 에 복사 

1) SSH 비밀번호 없이 접속할 수 있도록 공개 키를 만드는 과정 

ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

 

2) 이 키를 각 노드로 복사 

while read ip; do
    sshpass -p '비밀번호' ssh-copy-id -o StrictHostKeyChecking=no root@$ip
done < ../hosts.txt

 

 

3. 인벤토리 자동 생성 스크립트 생성 : Kubespray가 제공하는 인벤토리 자동 생성기 실행 

IP 리스트를 기반으로 inventory/mycluster/hosts.yaml 파일을 자동으로 만들어줌 

declare -a IPS=([마스터IP] [워커1 IP] [워커2 IP])
CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

 

쿠버네티스에 필요한 역할을 자동으로 나눠 줌

첫번째 IP : 마스터

나머지 : 워커

 

4. 설치 진행

source .venv/bin/activate
ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root cluster.yml