opennova 님의 글 47
NIM Operator로 LLM 추론 선언형으로 배포하기
GPU 노드에 LLM 추론을 올릴 때 Deployment와 Service, PVC, ConfigMap, HPA를 손으로 엮다 보면 모델 하나 올리는 데 매니페스트가 대여섯 개로 불어난다. 모델 가중…
SLO 기반 자율 운영, 에러 버짓으로 판단하기
알림이 모자랐던 게 아니라 판단 기준이 없었다 대부분의 운영 조직은 이미 많은 것을 자동화했다. 오토스케일링, 헬스 체크에 따른 재시작, CI/CD가 일상적으로 돌아간다. 그런데도 새벽 3시에 사람…
Dynamo로 vLLM prefill과 decode 나누기
GPU로 LLM을 서빙하는 글을 몇 번 썼다. 쿠버네티스에 vLLM을 올리는 것부터 EAGLE3 같은 추측 디코딩으로 처리량을 끌어올리는 것까지. 그런데 막상 운영에 넣어 보면 반복해서 걸리는 지점…
노드가 DiskPressure로 파드를 축출할 때
얼마 전에도 비슷한 걸로 호출을 받았다. 멀쩡히 돌던 파드가 한밤중에 Evicted 상태로 줄줄이 떨어지고, 노드를 보면 DiskPressure=True 가 찍혀 있다. 재시작하면 잠깐 괜찮아졌다가…
파드가 ImagePullBackOff로 안 뜰 때
배포 롤아웃이 멈춰 있고 파드가 Running 으로 넘어가질 않는다. 상태를 보면 ErrImagePull 이 잠깐 떴다가 ImagePullBackOff 로 굳어 있다. 신규 서비스를 올릴 때도, 프…
쿠버네티스에서 GPU로 LLM 추론 서빙하기
GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…
OpenTelemetry 계측은 왜 컨벤션보다 늦나
예전에 Jaeger로 분산 추적을 띄워보는 글 을 쓴 적이 있다. OpenTelemetry 계측을 붙인 서비스를 운영하다 보면 백엔드보다 계측 쪽에서 신경 쓸 일이 더 많다. 마침 OpenTelem…
PSP 대신 Pod Security Admission 쓰기
클러스터를 오래 굴리다 보면 v1.25로 올리는 순간 PodSecurityPolicy(PSP)가 통째로 사라져 있는 걸 만난다. 예전에 PSP로 파드 권한을 조이던 매니페스트가 있었는데, 업그레이드…
쿠버네티스 파드가 Pending에서 안 뜰 때
새 노드에 파드를 올리거나 매니페스트를 손본 직후, 파드가 Pending 에서 한참을 안 넘어가는 상황은 운영하다 보면 주기적으로 만난다. 급하면 노드부터 하나 더 붙이고 싶어지는데, 원인을 안 보…
Trivy로 CI 파이프라인에 배포 게이트 걸기
보안 스캔을 붙이자는 말은 어느 팀에서나 나오지만, 막상 도입하면 리포트만 쌓이고 배포는 그대로 나가는 경우를 자주 본다. 스캔 결과가 파이프라인을 멈추지 못하면 사실상 없는 것과 같다. 예전에 t…
Cloud Computing & MSAJaeger 분산 추적이란 무엇인가 - 동작 원리와 v2 아키텍처, 도커로 띄워보기
마이크로서비스 몇 개만 넘어가면 "어디서 느려졌는지"를 로그만으로 짚기가 어려워진다. 게이트웨이 로그에는 3초가 찍혔는데 각 서비스 로그를 하나씩 열어보면 다들 자기는 빨랐다고 한다. 예전에 이 블…
Cloud Computing & MSA쿠버네티스 v1.37 Garhwal - 새 기능과 업그레이드 전 확인할 변경점
분기마다 쿠버네티스 마이너 릴리스가 나오면 신기능 구경보다 "우리 클러스터에서 뭐가 깨지나"부터 찾게 된다. 클러스터를 몇 개 굴리다 보니 릴리스 노트에서 정작 오래 붙잡고 읽는 쪽은 하이라이트가 …