본문 바로가기
삵
AI

vLLM Sleep Mode로 한 GPU에 여러 모델 돌리기

냉냉장고를사다줘·2026년 11월 17일·조회 1

A100 한 장에 모델 두 개를 올려두고 요청이 올 때만 번갈아 쓰고 싶은데, 둘을 동시에 상주시키면 VRAM이 모자라는 상황을 자주 만난다. 그렇다고 요청마다 프로세스를 내렸다 올리면 가중치 로딩에 수십 초가 날아간다. vLLM의 Sleep Mode는 이 중간을 메우는 기능이다. 엔진 프로세스는 살려둔 채로 GPU 메모리만 비웠다가 필요할 때 되살린다.

결론부터 말하자면, enable_sleep_mode=True로 엔진을 띄운 뒤 sleep(level=1)을 호출하면 가중치는 CPU RAM으로 내려가고 KV 캐시는 버려지면서 GPU 메모리가 크게 빈다. wake_up()으로 되살리는데, 콜드 재시작보다 훨씬 빠르다. CPU RAM이 빠듯하면 가중치까지 완전히 버리는 level 2를 쓴다.

GPU를 비우되 프로세스는 남겨두는 구조

Sleep Mode는 vLLM이 CUDA 메모리를 cuMem 기반 할당자로 잡아두고, 잠들 때 그 물리 메모리를 해제하거나 CPU로 옮기는 방식으로 동작한다. 엔진 객체, 토크나이저, 스케줄러 같은 호스트 쪽 상태는 그대로 살아 있어서 다시 깨울 때 모델을 처음부터 로딩할 필요가 없다. KV 캐시는 잠들 때 내용을 버리고, 깰 때 빈 상태로 다시 잡는다.

여기서 KV 캐시는 디코딩 중 각 토큰의 key/value 텐서를 쌓아두는 GPU 버퍼다. 이미 생성이 끝났거나 새로 서빙을 시작하는 시점에는 유지할 이유가 없어서, 잠들 때 통째로 버리고 깰 때 새로 초기화해도 손해가 없다.

엔진을 띄울 때 플래그 하나만 추가하면 된다. 오프라인 LLM 쪽은 이렇게 쓴다.

from vllm import LLM

llm = LLM("Qwen/Qwen3-0.6B", enable_sleep_mode=True)

서버 모드는 개발용 엔드포인트가 필요하다. VLLM_SERVER_DEV_MODE=1 없이 --enable-sleep-mode만 주면 HTTP로 재우는 엔드포인트가 노출되지 않는다. 처음에 이걸 빼먹고 /sleep을 때렸다가 404를 만나기 쉽다.

VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen3-0.6B \
    --enable-sleep-mode \
    --port 8000

잠든 동안 GPU에서 빠지는 것

level 1과 level 2는 가중치를 어떻게 처리하느냐에서 갈린다. 둘 다 KV 캐시는 버린다.

level 1은 가중치를 GPU에서 CPU RAM으로 오프로딩하고 KV 캐시를 버린다. 깨울 때는 CPU에 있던 가중치를 GPU로 다시 복사하므로 디스크에서 로딩할 때보다 빠르다. 같은 모델을 재웠다 깨웠다 반복할 때 쓴다. 대신 가중치를 CPU에 들고 있어야 하니 그만큼의 호스트 메모리가 필요하다.

level 2는 가중치와 KV 캐시를 모두 버린다. rope scaling 텐서 같은 비파라미터 버퍼만 CPU에 백업해 둔다. 가중치 자체를 잊어버리기 때문에 CPU RAM 부담이 작다. RLHF처럼 깨어난 뒤 새 가중치를 밀어 넣는 경우, 또는 그 GPU에 다른 모델을 올릴 거라 옛 가중치가 필요 없는 경우에 맞는다. 단 level 2로 잔 뒤에는 sleep_preserve_parameter_names로 지정하지 않은 파라미터 값이 깨어난 직후 정의되지 않은 상태이므로, 가중치를 다시 적재해 주어야 한다.

level 1로 재우고 깨우는 기본 패턴은 이렇게 짧다.

llm.sleep(level=1)
# ... GPU가 비어 있는 동안 다른 작업 ...
llm.wake_up()

level 2는 깨울 때 파트를 나눠서 되살릴 수 있다. tags 인자로 가중치만 먼저 올리고, 가중치를 제자리에 다시 적재한 뒤, KV 캐시를 나중에 올린다. 가중치 갱신 중 메모리가 겹쳐 터지는 걸 피하려는 구성이다.

llm.sleep(level=2)

llm.wake_up(tags=["weights"])        # 가중치 영역만 먼저 확보
llm.collective_rpc("reload_weights") # 제자리에서 가중치 적재
llm.wake_up(tags=["kv_cache"])       # KV 캐시 영역 확보

tags를 주면 부분 기상이라 is_sleeping은 모든 구성 요소가 다 깨어나기 전까지 true를 돌려준다. 깼다고 판단하고 요청을 보냈다가 아직 KV 캐시가 없어 실패하는 경우가 여기서 나온다.

HTTP로 재우고 깨우기

서버 모드에서는 같은 동작을 엔드포인트로 호출한다. 두 모델을 번갈아 서빙하는 운영이라면 보통 이쪽을 쓴다.

curl -X POST "http://localhost:8000/sleep?level=1"

curl -X GET "http://localhost:8000/is_sleeping"
# {"is_sleeping":true}

curl -X POST "http://localhost:8000/wake_up"

level 2에서 가중치만 먼저 깨우려면 태그를 쿼리로 붙인다.

curl -X POST "http://localhost:8000/wake_up?tags=weights"

두 모델을 한 장에서 돌린다면 각각 다른 포트로 두 엔진을 띄우고, 쓰지 않는 쪽을 /sleep?level=1로 재워 GPU를 비운 다음 반대쪽을 /wake_up으로 깨우는 식으로 교대한다. 전환 시점에는 잠든 쪽이 CPU에 가중치를 들고 있으므로, 두 모델 가중치를 동시에 CPU RAM에 담을 여유가 있는지부터 확인한다. 여유가 없으면 잠드는 쪽을 level 2로 돌려 가중치까지 버리고, 깰 때 다시 적재하는 구성으로 간다.

wake_up이 콜드 스타트보다 빠른 정도

Sleep Mode의 값어치는 깨우는 시간이 프로세스를 새로 띄우는 시간보다 짧다는 데 있다. 콜드 스타트는 체크포인트를 디스크에서 읽고 GPU로 올리는 과정을 전부 치르지만, level 1 wake_up은 CPU RAM에 있던 가중치를 PCIe로 복사하는 것뿐이라 그 구간이 통째로 빠진다.

절대 수치는 모델 크기, PCIe 대역폭, 체크포인트가 로컬 NVMe인지 네트워크 스토리지인지에 따라 크게 달라진다. 그러니 자기 환경에서 직접 재는 게 맞다. 재는 방법은 단순하다.

curl -X POST "http://localhost:8000/sleep?level=1"

time curl -s -X POST "http://localhost:8000/wake_up" > /dev/null

잠든 동안 실제로 메모리가 빠졌는지는 nvidia-smi로 눈으로 확인한다.

watch -n 1 nvidia-smi --query-gpu=memory.used --format=csv

경향만 말하면, 수억에서 수십억 파라미터급 모델에서 level 1 wake_up은 같은 모델의 콜드 스타트 대비 한참 짧은 구간에 끝나는 경우가 많다. 정확한 비율은 환경에 따라 다르므로 위 두 명령으로 콜드 스타트 시간과 wake_up 시간을 각각 재서 비교하면 된다.

한 가지 더. 잠들었다가 깨어난 엔진은 KV 캐시를 새로 잡기 때문에, 재우기 전에 진행 중이던 요청이나 캐시된 프리픽스는 남아 있지 않다. 긴 컨텍스트를 프리필해 두고 재사용하던 패턴이 있다면 깬 뒤 다시 채워야 한다는 점을 서빙 로직에 반영해 둔다.

자주 묻는 질문

Sleep Mode level 1과 level 2는 무엇이 다른가

둘 다 KV 캐시는 버린다. level 1은 가중치를 CPU RAM으로 오프로딩했다가 깰 때 다시 GPU로 올리므로 같은 모델을 반복해서 재우고 깨울 때 빠르다. level 2는 가중치까지 버리고 비파라미터 버퍼만 CPU에 남기므로 CPU RAM이 빠듯하거나 깬 뒤 새 가중치를 적재할 때 쓴다. level 2로 잔 뒤에는 가중치를 다시 적재해야 한다.

서버 모드에서 /sleep 엔드포인트가 404로 뜬다

HTTP로 재우고 깨우는 엔드포인트는 개발 모드에서만 노출된다. vllm serve를 띄울 때 환경변수 VLLM_SERVER_DEV_MODE=1을 함께 주고 --enable-sleep-mode 플래그를 추가했는지 확인한다. 둘 중 하나라도 빠지면 /sleep, /wake_up이 열리지 않는다.

wake_up의 tags 인자는 언제 쓰나

level 2에서 가중치와 KV 캐시를 따로 되살리고 싶을 때 쓴다. wake_up(tags=["weights"])로 가중치 영역만 먼저 확보하고 가중치를 적재한 뒤 wake_up(tags=["kv_cache"])로 KV 캐시를 올린다. 부분 기상이라 모두 깨어나기 전까지 is_sleeping은 true를 반환한다.

한 GPU에서 두 모델을 번갈아 서빙하려면

각 모델을 다른 포트로 두 엔진에 띄우고, 쓰지 않는 쪽을 /sleep?level=1로 재워 GPU를 비운 다음 반대쪽을 /wake_up으로 깨워 교대한다. 단 level 1은 잠든 모델 가중치를 CPU RAM에 들고 있으므로 두 모델 가중치를 동시에 담을 호스트 메모리가 있는지 확인한다. 없으면 잠드는 쪽을 level 2로 돌린다.

깨어난 뒤 이전 KV 캐시나 프리픽스가 남아 있나

남지 않는다. 잠들 때 KV 캐시 내용을 버리고 깰 때 빈 상태로 다시 잡는다. 긴 컨텍스트를 프리필해 재사용하던 구성이라면 깬 뒤 다시 채워야 한다.

관련 글

댓글 0

로그인 후 댓글을 남길 수 있습니다.

아직 댓글이 없습니다.