냉장고를사다줘 님의 글 68
vLLM KV 캐시를 CPU와 NVMe로 오프로딩하기
GPU 한 장으로 챗봇을 돌리다 보면 동시 접속이 조금만 늘어도 TTFT가 늘어지는 지점이 온다. 긴 시스템 프롬프트에 멀티턴 대화, 거기에 RAG로 끌어온 문서까지 매번 다시 prefill하면 G…
AWS HealthOmics Run Analyzer로 워크플로 비용과 성능 최적화하기
왜 Run Analyzer인가 AWS HealthOmics Run Analyzer는 이미 끝난 워크플로 실행(run)의 태스크별 리소스 사용량을 분석해서, 실제 사용량을 기준으로 CPU·메모리 요청…
SGLang과 vLLM 중 무엇을 쓸까
요즘 LLM 서빙 엔진을 고르다 보면 거의 vLLM과 SGLang 둘로 좁혀진다. 예전에 vLLM EAGLE3로 처리량 끌어올리는 글을 쓴 적이 있는데, 그때 댓글이고 사내 메신저고 "RAG 챗봇은…
vLLM EAGLE3로 추론 처리량 끌어올리기
로컬이나 사내 GPU에서 LLM을 서빙하다 보면 지연 시간에 먼저 발목이 잡힌다. 모델을 더 키우긴 어렵고 GPU를 더 붙이자니 비용이 걸린다. 이럴 때 손대볼 만한 게 추측 디코딩(speculat…
쿠버네티스 GPU를 DRA로 할당하기
GPU 노드를 쿠버네티스에 붙여본 사람이면 nvidia.com/gpu: 1 한 줄로 파드에 GPU를 꽂던 디바이스 플러그인 방식에 익숙할 것이다. 몇 년을 그렇게 썼는데, 1.34에서 DRA가 정식…
AWS HealthOmics 워크플로 실행과 분석
유전체 분석하는 팀과 인프라 얘기를 하다 보면 결국 "파이프라인 돌릴 서버는 누가 보나"로 넘어간다. AWS Batch 위에 Cromwell이나 Nextflow를 직접 깔아서 쓰던 팀이 관리형으로 …
NetworkPolicy로 파드 트래픽 기본 차단하기
클러스터를 한참 운영하다 보면 어느 순간 깨닫는다. 같은 네임스페이스는 물론이고 네임스페이스를 넘어서도 파드끼리 TCP가 다 뚫려 있다는 사실을. 기본 상태의 쿠버네티스는 파드 간 통신을 전혀 막지…
AWS Bedrock을 쓰는 이유
AWS 위에서 서비스를 운영하는 팀에 있으면 'Claude 쓰고 싶은데 Anthropic 키 하나 받아서 쓰면 안 되냐'는 질문을 자주 받는다. 반대로 보안팀이나 재무팀에서는 'Bedrock으로 하…
cert-manager로 TLS 인증서 자동 발급하기
쿠버네티스에 서비스를 올리고 나면 꼭 밟는 단계가 TLS다. 예전에는 인증서 만료일을 캘린더에 적어두고 분기마다 갱신하던 시절이 있었는데, 클러스터 안에서는 그런 수동 작업을 cert-manager…
AIDC 모니터링은 어디로 가야 하나
예전에 NVML은 무엇이고 어디에 쓰나 라는 글에서 GPU 한 장의 온도와 전력, ECC 카운터를 읽는 방법을 다뤘다. 그런데 GPU 서버가 몇 대에서 몇십 대, 몇백 대로 늘어나면 고민이 달라진다…
NVML은 무엇이고 어디에 쓰나
GPU 노드를 운영하면 nvidia-smi는 매일 치게 된다. 그런데 그 뒤에 뭐가 있는지는 잘 안 들여다본다. 그러다 파드 안에서 Failed to initialize NVML 같은 에러를 처음 …
ingress-nginx 은퇴, Gateway API로 이전하기
몇 년째 클러스터마다 기본으로 깔던 ingress-nginx인데, 이제 손을 떼야 할 때가 왔다. 2025년 11월 쿠버네티스 측에서 이 프로젝트를 은퇴시킨다는 공지가 나왔고, 남은 기간 동안 옮겨…