본문 바로가기
삵
AI

KEDA로 vLLM 파드를 0까지 줄이기

냉냉장고를사다줘·2026년 11월 18일·조회 1

GPU 비용 청구서를 보다가 야간 트래픽이 거의 없는 추론 서비스가 파드 두 개를 24시간 띄워 놓고 있는 걸 발견하면, 누구나 한 번쯤 스케일투제로를 떠올린다. 웹 서버는 KEDA로 0까지 내리는 게 흔한데, LLM 추론은 모델 로딩 때문에 겁이 나서 미뤄 두게 된다. 이번에는 vLLM이 스스로 뱉는 큐 메트릭을 트리거로 써서 파드를 0까지 내리고, 다시 깨우는 쪽을 정리한다.

결론부터 말하자면, KEDA Prometheus 스케일러로 vllm:num_requests_waiting과 vllm:num_requests_running의 합을 읽어 minReplicaCount: 0으로 두면 유휴 시 파드가 사라진다. 다만 파드가 0이면 그 메트릭을 뱉을 주체도 없어지므로, 0에서 1로 깨우는 신호는 vLLM 바깥에 따로 둬야 한다. GPU 노드는 Karpenter가 붙였다 떼고, 콜드스타트는 이미지와 모델 가중치를 어디에 두느냐로 갈린다.

움직이는 부품부터 맞춰 두기

KEDA는 쿠버네티스 이벤트 기반 오토스케일러다. ScaledObject라는 리소스에 트리거를 적어 두면, KEDA가 그 값을 읽어 HPA(Horizontal Pod Autoscaler)를 대신 만들어 준다. HPA 혼자서는 파드를 0으로 못 내리는데, KEDA가 그 앞단에서 활성/비활성을 판단해 0과 1 사이를 처리한다. 이게 스케일투제로의 핵심이다.

vLLM은 OpenAI 호환 서버를 띄우면 /metrics 엔드포인트로 Prometheus 메트릭을 노출한다. 그중 둘이 스케일링에 직접 쓰인다. vllm:num_requests_running은 지금 배치에 올라가 모델이 실행 중인 요청 수이고, vllm:num_requests_waiting은 스케줄링 용량이 없어 대기 중인 요청 수다. 둘 다 Gauge 타입이라 순간값을 그대로 읽는다. 대기열이 쌓인다는 건 현재 파드로는 처리가 밀린다는 뜻이니, 이 둘의 합이 증설 신호로 가장 직관적이다.

GPU 노드는 Karpenter에게 맡긴다. 파드가 떠서 nvidia.com/gpu 리소스를 요구하면 Karpenter가 조건에 맞는 EC2 인스턴스를 붙이고, 파드가 사라져 노드가 비면 떼어 낸다. 파드만 0으로 내리고 노드를 그대로 두면 GPU 요금이 계속 나가니, 스케일투제로는 Karpenter의 컨솔리데이션까지 묶여야 비용이 실제로 0에 가까워진다.

1. ScaledObject로 큐 길이에 반응시키기

vLLM 디플로이먼트가 inference 네임스페이스에 있고, Prometheus(또는 kube-prometheus-stack)가 /metrics를 스크랩하고 있다고 보고 시작한다. 먼저 vLLM 서버가 메트릭을 제대로 내는지 확인한다.

$ kubectl -n inference port-forward svc/vllm-llama 8000:8000 &
$ curl -s localhost:8000/metrics | grep -E 'num_requests_(waiting|running)'
# HELP vllm:num_requests_running Number of requests in model execution batches.
# TYPE vllm:num_requests_running gauge
vllm:num_requests_running{model_name="meta-llama/Llama-3.1-8B-Instruct"} 0.0
# HELP vllm:num_requests_waiting Number of requests waiting to be processed.
# TYPE vllm:num_requests_waiting gauge
vllm:num_requests_waiting{model_name="meta-llama/Llama-3.1-8B-Instruct"} 0.0

이제 ScaledObject를 만든다. 트리거는 Prometheus 스케일러 하나로 두고, 대기와 실행 요청의 합을 PromQL로 집계한다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: vllm-llama
  namespace: inference
spec:
  scaleTargetRef:
    name: vllm-llama
  minReplicaCount: 0
  maxReplicaCount: 8
  pollingInterval: 15       # 트리거 확인 주기(기본 30초)
  cooldownPeriod: 600       # 마지막 활성 이후 0으로 내리기까지 대기(기본 300초)
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://prometheus-operated.monitoring.svc:9090
      query: |
        sum(vllm:num_requests_waiting{service="vllm-llama"})
        + sum(vllm:num_requests_running{service="vllm-llama"})
      threshold: "8"
      activationThreshold: "1"

threshold는 파드 한 개가 감당하길 바라는 대기+실행 요청 수다. KEDA는 이 값을 HPA의 AverageValue 목표로 넘기고, 원하는 파드 수는 ceil(집계값 / threshold)로 계산된다. 합이 24면 ceil(24/8)=3개로 올라간다. 모델과 GPU가 받아 내는 동시 요청 수에 맞춰 이 숫자를 잡는 게 튜닝의 전부다.

activationThreshold는 0에서 1로 깨어나는 경계다. 기본값 0이면 메트릭이 조금만 올라도 활성으로 보는데, 1로 두면 집계값이 1을 넘겨야 파드를 띄운다. threshold가 HPA의 1 이상 구간을 정하고, activationThreshold가 0과 1 사이를 정한다고 보면 역할이 갈린다.

여기서 처음 막히는 지점이 있다. 파드가 0이면 vllm:num_requests_waiting을 내보낼 vLLM도 없다. Prometheus에는 마지막 값이 몇 분간 남다가 stale 처리되어 사라진다. 즉 이 메트릭만으로는 0에서 1로 못 깨운다. 아래 3번에서 이 부분을 따로 다룬다.

2. 빨리 올리고 천천히 내리는 비대칭 정책

추론 트래픽은 순식간에 몰리고, GPU 파드는 한 번 띄우는 데 시간이 든다. 그래서 증설은 공격적으로, 감축은 보수적으로 가야 한다. 증설할 때마다 노드를 새로 붙였다가 몇 초 뒤 다시 떼는 왕복은 콜드스타트만 반복시켜 손해다.

KEDA는 advanced.horizontalPodAutoscalerConfig.behavior로 HPA의 scaleUp/scaleDown 정책을 그대로 노출한다. 앞의 ScaledObject에 이어 붙인다.

  advanced:
    horizontalPodAutoscalerConfig:
      behavior:
        scaleUp:
          stabilizationWindowSeconds: 0      # 올릴 땐 즉시 반응
          policies:
          - type: Pods
            value: 4                         # 15초마다 최대 4개까지 증설
            periodSeconds: 15
        scaleDown:
          stabilizationWindowSeconds: 600    # 10분간 최대값을 보고 판단
          policies:
          - type: Pods
            value: 1                         # 2분마다 1개씩만 감축
            periodSeconds: 120

scaleUp의 stabilizationWindowSeconds: 0은 안정화 없이 바로 올린다는 뜻이다. 대기열이 보이면 즉시 최대 4개까지 붙인다. 반대로 scaleDown의 stabilizationWindowSeconds: 600은 최근 10분 동안의 가장 높은 권장값을 기준으로 삼아, 트래픽이 잠깐 꺼졌다고 성급하게 내리지 않게 한다. 감축 정책도 2분에 1개씩으로 묶어 천천히 흘려보낸다.

이 behavior는 1 이상 구간의 증감 속도만 제어한다. 0으로 완전히 내리는 타이밍은 behavior가 아니라 ScaledObject의 cooldownPeriod가 쥐고 있다. 마지막으로 활성이던 시점에서 이 시간(위에선 600초)이 지나야 KEDA가 0으로 내린다. scaleDown 안정화 창과 cooldownPeriod는 별개이니 둘 다 넉넉히 잡아야 깜빡이를 막는다.

3. 0에서 1로 깨우기, 그리고 Karpenter GPU 노드

앞에서 짚은 콜드 패스를 해결해야 스케일투제로가 완성된다. vLLM이 0이면 큐 메트릭이 끊기므로, 요청을 잠깐 붙들면서 파드가 없는 동안에도 깨우기 신호를 낼 주체가 vLLM 앞단에 필요하다. 현장에서 쓰는 선택지는 둘이다.

하나는 KEDA HTTP Add-on이다. 인터셉터가 들어오는 HTTP 요청을 받아 버퍼에 쥐고 있다가, 백엔드가 0이면 pending_request_count를 노출해 KEDA가 0에서 1로 올리게 한다. 파드가 뜨면 인터셉터가 붙들고 있던 요청을 흘려보낸다. 사용자 입장에선 첫 요청이 느릴 뿐 실패하진 않는다. 요청 자체를 트리거로 쓰고 싶을 때 가장 깔끔하다.

다른 하나는 외부 큐다. 요청을 SQS나 Redis 리스트에 넣는 구조라면 KEDA의 aws-sqs-queue나 redis 스케일러로 큐 길이를 읽으면 된다. 이 메트릭은 파드가 0이어도 살아 있으니 0에서 1로 깨우는 데 문제가 없다. 배치성 추론이라면 이쪽이 자연스럽다.

권장은 이렇다. 0에서 1로 깨우는 건 HTTP Add-on이나 외부 큐에 맡기고, 1 이상에서의 증감은 앞서 만든 vLLM 큐 메트릭 ScaledObject에 맡긴다. 하나의 트리거로 전 구간을 덮으려 하지 말고 역할을 쪼개는 게 덜 깨진다.

파드가 떠도 GPU 노드가 없으면 Pending에 걸린다. Karpenter NodePool로 GPU 노드를 자동 조달한다.

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: gpu-l4
spec:
  template:
    spec:
      requirements:
      - key: karpenter.k8s.aws/instance-family
        operator: In
        values: ["g6"]            # L4 GPU
      - key: karpenter.sh/capacity-type
        operator: In
        values: ["on-demand"]
      taints:
      - key: nvidia.com/gpu
        value: "true"
        effect: NoSchedule        # GPU 노드에 아무 파드나 못 붙게
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: gpu
  disruption:
    consolidationPolicy: WhenEmptyOrUnderutilized
    consolidateAfter: 1m
  limits:
    nvidia.com/gpu: "8"

vLLM 파드에는 이 테인트를 받는 tolerations와 nvidia.com/gpu: 1 리소스 요청을 넣어야 노드에 붙는다. consolidationPolicy: WhenEmptyOrUnderutilized에 consolidateAfter: 1m을 주면, 파드가 0으로 빠져 노드가 빈 지 1분 뒤 Karpenter가 노드를 회수한다. 이 값이 너무 짧으면 트래픽이 끊겼다 이어질 때 노드를 떼었다 붙이길 반복하니, cooldownPeriod와 균형을 맞춘다.

콜드스타트의 실제 길이는 세 토막의 합이다. Karpenter의 노드 준비(수십 초에서 1분대), vLLM 컨테이너 이미지 풀, 그리고 모델 가중치 로딩이다. 8B급 모델을 매번 허깅페이스에서 받으면 여기가 가장 오래 걸린다. 환경에 따라 다르지만 아무 대비 없이는 첫 응답까지 몇 분이 걸릴 수 있다. 줄이는 방법은 가중치를 EBS 스냅샷이나 FSx로 미리 두거나 이미지에 구워 넣기, 이미지를 노드에 미리 당겨 두기다. 지연이 조금도 허용 안 되는 경로라면 minReplicaCount를 1로 두고 웜 파드 하나를 남기는 쪽이 현실적이다. 완전한 0과 빠른 응답은 같이 못 가진다.

내려갔는지, 올라왔는지 눈으로 확인

적용 후 KEDA가 HPA를 만들었는지부터 본다.

$ kubectl -n inference apply -f scaledobject.yaml
scaledobject.keda.sh/vllm-llama created

$ kubectl -n inference get scaledobject vllm-llama
NAME         SCALETARGETKIND      MIN   MAX   READY   ACTIVE   AGE
vllm-llama   apps/v1.Deployment   0     8     True    False    40s

$ kubectl -n inference get hpa
NAME                  REFERENCE               TARGETS       MINPODS   MAXPODS   REPLICAS
keda-hpa-vllm-llama   Deployment/vllm-llama   0/8 (avg)     1         8         0

ACTIVE가 False이고 REPLICAS가 0이면 유휴 상태에서 파드가 내려간 것이다. 부하를 넣어 활성으로 바뀌는지 본다.

$ hey -z 60s -c 20 -m POST \
    -H 'Content-Type: application/json' \
    -d '{"model":"meta-llama/Llama-3.1-8B-Instruct","prompt":"hello","max_tokens":128}' \
    http://vllm-llama.inference.svc:8000/v1/completions

$ kubectl -n inference get scaledobject vllm-llama -w
NAME         ...   ACTIVE   AGE
vllm-llama   ...   True     3m

$ kubectl -n inference get pods -l app=vllm-llama
NAME                          READY   STATUS    RESTARTS   AGE
vllm-llama-7c9f8b6d4d-2xk5p   1/1     Running   0          48s

증설 판단 근거가 궁금하면 Prometheus에서 쿼리를 그대로 때려 본다. ScaledObject의 query와 같은 값이 나오면 트리거가 제대로 읽고 있는 것이다.

$ curl -s 'http://prometheus-operated.monitoring.svc:9090/api/v1/query' \
    --data-urlencode 'query=sum(vllm:num_requests_waiting{service="vllm-llama"}) + sum(vllm:num_requests_running{service="vllm-llama"})' \
    | jq '.data.result[0].value[1]'
"14"

부하를 끊고 cooldownPeriod만큼 기다리면 파드가 다시 0으로 빠지고, 이어서 Karpenter가 빈 GPU 노드를 회수하는지 kubectl get nodes로 확인한다. 노드까지 사라지는 걸 눈으로 봐야 비용이 실제로 내려간 것이다. 여기까지 되면 야간 트래픽 없는 시간대의 GPU 청구가 눈에 띄게 줄어든다.

다음으로 손댈 곳은 모델 로딩 시간이다. 가중치를 어디에 두느냐로 첫 응답 지연이 몇 배씩 차이 나니, EBS 스냅샷과 이미지 임베딩 중 어느 쪽이 팀 배포 방식에 맞는지 먼저 재 보는 걸 권한다.

자주 묻는 질문

vllm:num_requests_waiting 하나만으로 스케일투제로가 되나.

안 된다. 파드가 0이면 그 메트릭을 내보낼 vLLM도 없어서 0에서 1로 깨우는 신호가 끊긴다. Prometheus에 남은 마지막 값은 몇 분 뒤 stale 처리되어 사라진다. 1 이상 구간의 증감은 이 메트릭으로 하되, 0에서 1로 깨우는 건 KEDA HTTP Add-on의 pending_request_count나 SQS/Redis 같은 외부 큐 메트릭에 맡겨야 한다.

threshold와 activationThreshold는 어떻게 다른가.

threshold는 파드 한 개가 감당할 대기+실행 요청 수로, HPA의 1 이상 구간을 정한다. 원하는 파드 수는 ceil(집계값 / threshold)로 계산된다. activationThreshold는 0과 1 사이의 경계로, 집계값이 이 값을 넘겨야 KEDA가 파드를 0에서 띄운다. 기본값은 0이다.

파드를 0으로 내렸는데 GPU 요금이 계속 나온다.

파드만 0으로 내리고 GPU 노드가 남아 있으면 요금은 계속 나간다. Karpenter NodePool에 consolidationPolicy를 WhenEmptyOrUnderutilized로 두고 consolidateAfter를 설정해, 파드가 빠져 노드가 빈 뒤 Karpenter가 노드를 회수하게 해야 한다. kubectl get nodes로 노드가 실제로 사라지는지 확인한다.

콜드스타트가 몇 분씩 걸린다. 어떻게 줄이나.

콜드스타트는 Karpenter 노드 준비, 컨테이너 이미지 풀, 모델 가중치 로딩의 합이다. 가중치를 매번 원격에서 받으면 여기가 가장 길다. EBS 스냅샷이나 FSx에 가중치를 미리 두거나 이미지에 구워 넣고, 이미지를 노드에 미리 당겨 두면 줄어든다. 지연이 조금도 허용 안 되면 minReplicaCount를 1로 둬 웜 파드 하나를 남긴다.

증설은 빠르게, 감축은 느리게 하려면 어디를 건드리나.

ScaledObject의 advanced.horizontalPodAutoscalerConfig.behavior에서 scaleUp과 scaleDown을 따로 준다. scaleUp에 stabilizationWindowSeconds를 0으로 두어 즉시 올리고, scaleDown에 긴 안정화 창(예: 600초)과 느린 정책을 준다. 다만 0으로 완전히 내리는 타이밍은 behavior가 아니라 ScaledObject의 cooldownPeriod가 정한다.

관련 글

댓글 0

로그인 후 댓글을 남길 수 있습니다.

아직 댓글이 없습니다.