#Kubernetes · 58개
Velero로 클러스터 간 백업과 복구하기
쿠버네티스를 몇 년 굴리다 보면 "이 클러스터가 통째로 날아가면 뭘로 되살리지"라는 질문을 한 번은 마주하게 된다. etcd 스냅샷만으로는 영속 볼륨(PV) 데이터가 돌아오지 않고, GitOps로 …
NIM Operator로 LLM 추론 선언형으로 배포하기
GPU 노드에 LLM 추론을 올릴 때 Deployment와 Service, PVC, ConfigMap, HPA를 손으로 엮다 보면 모델 하나 올리는 데 매니페스트가 대여섯 개로 불어난다. 모델 가중…
DCGM Exporter로 쿠버네티스 GPU 모니터링
GPU 노드를 쿠버네티스에 붙여 놓고 나면 다음 질문은 항상 같다. 저 비싼 카드가 지금 얼마나 일하고 있나, 어느 파드가 메모리를 다 먹고 있나, 혹시 조용히 맛이 가고 있는 건 아닌가. CPU야…
Ingress를 Gateway API로 무중단 전환하기
ingress-nginx가 읽기 전용으로 넘어간 뒤로 "그래서 뭘 깔아야 하냐"는 질문은 한 번 받고 끝났다. 요즘 받는 질문은 다르다. 이미 Ingress 리소스 수십 개가 돌아가는 클러스터를 멈…
쿠버네티스 GPU를 여러 파드가 나눠 쓰기
GPU 노드는 비싸다. 그런데 막상 붙여 보면 추론 서비스 하나나 주피터 노트북 하나가 카드 한 장을 통째로 잡고 있으면서 실제 사용률은 한 자릿수에 머무는 경우가 흔하다. Azure의 NC/ND …
쿠버네티스 GPU를 DRA로 할당하기
GPU 노드를 쿠버네티스에 붙여본 사람이면 nvidia.com/gpu: 1 한 줄로 파드에 GPU를 꽂던 디바이스 플러그인 방식에 익숙할 것이다. 몇 년을 그렇게 썼는데, 1.34에서 DRA가 정식…
노드가 DiskPressure로 파드를 축출할 때
얼마 전에도 비슷한 걸로 호출을 받았다. 멀쩡히 돌던 파드가 한밤중에 Evicted 상태로 줄줄이 떨어지고, 노드를 보면 DiskPressure=True 가 찍혀 있다. 재시작하면 잠깐 괜찮아졌다가…
파드가 ImagePullBackOff로 안 뜰 때
배포 롤아웃이 멈춰 있고 파드가 Running 으로 넘어가질 않는다. 상태를 보면 ErrImagePull 이 잠깐 떴다가 ImagePullBackOff 로 굳어 있다. 신규 서비스를 올릴 때도, 프…
NetworkPolicy로 파드 트래픽 기본 차단하기
클러스터를 한참 운영하다 보면 어느 순간 깨닫는다. 같은 네임스페이스는 물론이고 네임스페이스를 넘어서도 파드끼리 TCP가 다 뚫려 있다는 사실을. 기본 상태의 쿠버네티스는 파드 간 통신을 전혀 막지…
쿠버네티스에서 GPU로 LLM 추론 서빙하기
GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…
cert-manager로 TLS 인증서 자동 발급하기
쿠버네티스에 서비스를 올리고 나면 꼭 밟는 단계가 TLS다. 예전에는 인증서 만료일을 캘린더에 적어두고 분기마다 갱신하던 시절이 있었는데, 클러스터 안에서는 그런 수동 작업을 cert-manager…
AIDC 모니터링은 어디로 가야 하나
예전에 NVML은 무엇이고 어디에 쓰나 라는 글에서 GPU 한 장의 온도와 전력, ECC 카운터를 읽는 방법을 다뤘다. 그런데 GPU 서버가 몇 대에서 몇십 대, 몇백 대로 늘어나면 고민이 달라진다…
NVML은 무엇이고 어디에 쓰나
GPU 노드를 운영하면 nvidia-smi는 매일 치게 된다. 그런데 그 뒤에 뭐가 있는지는 잘 안 들여다본다. 그러다 파드 안에서 Failed to initialize NVML 같은 에러를 처음 …
ingress-nginx 은퇴, Gateway API로 이전하기
몇 년째 클러스터마다 기본으로 깔던 ingress-nginx인데, 이제 손을 떼야 할 때가 왔다. 2025년 11월 쿠버네티스 측에서 이 프로젝트를 은퇴시킨다는 공지가 나왔고, 남은 기간 동안 옮겨…
PSP 대신 Pod Security Admission 쓰기
클러스터를 오래 굴리다 보면 v1.25로 올리는 순간 PodSecurityPolicy(PSP)가 통째로 사라져 있는 걸 만난다. 예전에 PSP로 파드 권한을 조이던 매니페스트가 있었는데, 업그레이드…
External Secrets Operator로 AWS 비밀 동기화
EKS 클러스터를 운영하다 보면 DB 비밀번호나 API 키를 어디에 둘지가 늘 문제로 남는다. AWS Secrets Manager에는 이미 값이 있는데, 파드는 쿠버네티스 Secret 을 읽는다. …
쿠버네티스 파드가 Pending에서 안 뜰 때
새 노드에 파드를 올리거나 매니페스트를 손본 직후, 파드가 Pending 에서 한참을 안 넘어가는 상황은 운영하다 보면 주기적으로 만난다. 급하면 노드부터 하나 더 붙이고 싶어지는데, 원인을 안 보…
NetworkPolicy로 파드 통신 기본 차단하기
클러스터를 새로 받아서 파드를 몇 개 띄워보면 대개 놀란다. 아무 정책도 없는 상태에서는 네임스페이스가 달라도 파드끼리 서로 다 붙는다. 프론트엔드 파드에 셸을 열고 DB 파드 포트로 붙어보면 그냥…
Cloud Computing & MSA쿠버네티스에 Argo CD로 GitOps 파이프라인 깔기 - Application, 자동 sync, self-heal로 kubectl apply 손절하기
클러스터를 몇 명이서 나눠 쓰다 보면 어느 순간 아무도 지금 떠 있는 게 Git의 어느 커밋인지 자신 있게 말하지 못하는 상태가 된다. 누군가 급해서 kubectl edit 로 replicas를 바…
Cloud Computing & MSAAmazon EKS 1.34 표준 지원 종료 메일을 받았다면 - 확장 지원 요금과 업그레이드 선택지
EKS 클러스터를 몇 개라도 굴리고 있으면 요즘 받은편지함에 "[조치 필요] Amazon EKS Kubernetes 1.34 표준 지원 종료" 제목의 AWS Health 알림이 하나 들어와 있을 것…
Cloud Computing & MSA쿠버네티스 PVC를 파드 중단 없이 온라인으로 확장하기 (EBS CSI, allowVolumeExpansion)
운영하다 보면 스테이트풀셋의 PVC가 어느 날 갑자기 꽉 차 있다. PostgreSQL 데이터 디렉터리든 Prometheus TSDB든, 예전 같으면 새 볼륨 붙이고 데이터 옮기고 파드 재배포하는 …
Cloud Computing & MSA쿠버네티스 v1.37 Garhwal - 새 기능과 업그레이드 전 확인할 변경점
분기마다 쿠버네티스 마이너 릴리스가 나오면 신기능 구경보다 "우리 클러스터에서 뭐가 깨지나"부터 찾게 된다. 클러스터를 몇 개 굴리다 보니 릴리스 노트에서 정작 오래 붙잡고 읽는 쪽은 하이라이트가 …
AI쿠버네티스에서 GPU 한 장을 여러 파드가 나눠 쓰기: Time-Slicing vs MIG
GPU 노드를 처음 붙이고 나면 곧 이런 상황을 만난다. A100 한 장이 노드에 꽂혀 있는데, 추론 파드 하나가 그걸 통째로 물고 있고 나머지 파드는 Pending 으로 줄을 선다. GPU 메모리…
Cloud Computing & MSAingress-nginx EOS, 이제 뭘 써야 하나
커뮤니티 유지보수 ingress-nginx 컨트롤러( kubernetes/ingress-nginx )는 2026년 3월부로 EOS(End of Support, 지원 종료)를 맞았다. 이후 신규 릴리…