#nvidia · 7개

GPU 노드를 쿠버네티스에 붙여 놓고 나면 다음 질문은 항상 같다. 저 비싼 카드가 지금 얼마나 일하고 있나, 어느 파드가 메모리를 다 먹고 있나, 혹시 조용히 맛이 가고 있는 건 아닌가. CPU야…

GPU 노드는 비싸다. 그런데 막상 붙여 보면 추론 서비스 하나나 주피터 노트북 하나가 카드 한 장을 통째로 잡고 있으면서 실제 사용률은 한 자릿수에 머무는 경우가 흔하다. Azure의 NC/ND …

GPU 노드를 쿠버네티스에 붙여본 사람이면 nvidia.com/gpu: 1 한 줄로 파드에 GPU를 꽂던 디바이스 플러그인 방식에 익숙할 것이다. 몇 년을 그렇게 썼는데, 1.34에서 DRA가 정식…

GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…

GPU 노드를 운영하면 nvidia-smi는 매일 치게 된다. 그런데 그 뒤에 뭐가 있는지는 잘 안 들여다본다. 그러다 파드 안에서 Failed to initialize NVML 같은 에러를 처음 …

GPU 노드를 처음 붙이고 나면 곧 이런 상황을 만난다. A100 한 장이 노드에 꽂혀 있는데, 추론 파드 하나가 그걸 통째로 물고 있고 나머지 파드는 Pending 으로 줄을 선다. GPU 메모리…

1. 저장소를 업데이트 sudo apt-get update 2. 최신 패키지 확인 NVIDIA_DRIVER_VERSION=$(sudo apt-cache search 'linux-modules-nvi…