#MIG · 2개

GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…

쿠버네티스에서 GPU 한 장을 여러 파드가 나눠 쓰기: Time-Slicing vs MIG

GPU 노드를 처음 붙이고 나면 곧 이런 상황을 만난다. A100 한 장이 노드에 꽂혀 있는데, 추론 파드 하나가 그걸 통째로 물고 있고 나머지 파드는 Pending 으로 줄을 선다. GPU 메모리…