#vLLM · 12개
vLLM Sleep Mode로 한 GPU에 여러 모델 돌리기
A100 한 장에 모델 두 개를 올려두고 요청이 올 때만 번갈아 쓰고 싶은데, 둘을 동시에 상주시키면 VRAM이 모자라는 상황을 자주 만난다. 그렇다고 요청마다 프로세스를 내렸다 올리면 가중치 로딩…
NeMo IORails로 LLM 입출력 지키기
자체 호스팅 LLM을 사내 서비스에 꽂아두면, 모델 서빙보다 그 앞단을 지키는 일이 더 귀찮다. 프롬프트 탈옥 시도, 엉뚱한 주제로 끌고 가는 질문, 그리고 사용자가 아무렇지 않게 붙여 넣는 주민번…
trtllm-serve로 엔진 빌드 없이 서빙하기
vLLM으로 로컬 서빙을 붙여 둔 지가 좀 됐는데, 요즘 같은 H100이나 L40S 장비에서 "TensorRT-LLM이 더 빠르다더라"는 얘기를 심심찮게 듣는다. 예전에 TensorRT-LLM을 만…
vLLM 리랭커로 RAG 검색 재정렬하기
로컬 임베딩으로 RAG 검색을 붙여 돌려보면, 어느 순간 임베딩 모델만으로는 상위 몇 건의 순서가 애매하게 밀리는 걸 본다. 코사인 유사도로 20건을 긁어왔는데 정작 정답 문단이 7등, 8등에 처박…
vLLM 재시작에서 모델 로딩 건너뛰기
프로덕션에서 vLLM 설정 하나 바꾸려고 엔진을 내렸다 올릴 때마다 가중치 로딩을 멍하니 기다린 적이 있을 것이다. 70B급을 몇 장에 샤딩해 놓으면 디스크에서 safetensors를 다시 읽고 양…
vLLM에서 유효한 JSON만 뱉게 만들기
LLM으로 분류 결과나 추출 데이터를 받아 파이프라인에 넘기는 서비스를 운영하다 보면, 모델이 가끔 JSON 앞에 "물론이죠, 아래가 결과입니다" 같은 말을 붙이거나 마지막 중괄호를 빼먹는다. 프롬…
vLLM KV 캐시를 CPU와 NVMe로 오프로딩하기
GPU 한 장으로 챗봇을 돌리다 보면 동시 접속이 조금만 늘어도 TTFT가 늘어지는 지점이 온다. 긴 시스템 프롬프트에 멀티턴 대화, 거기에 RAG로 끌어온 문서까지 매번 다시 prefill하면 G…
SGLang과 vLLM 중 무엇을 쓸까
요즘 LLM 서빙 엔진을 고르다 보면 거의 vLLM과 SGLang 둘로 좁혀진다. 예전에 vLLM EAGLE3로 처리량 끌어올리는 글을 쓴 적이 있는데, 그때 댓글이고 사내 메신저고 "RAG 챗봇은…
Dynamo로 vLLM prefill과 decode 나누기
GPU로 LLM을 서빙하는 글을 몇 번 썼다. 쿠버네티스에 vLLM을 올리는 것부터 EAGLE3 같은 추측 디코딩으로 처리량을 끌어올리는 것까지. 그런데 막상 운영에 넣어 보면 반복해서 걸리는 지점…
vLLM EAGLE3로 추론 처리량 끌어올리기
로컬이나 사내 GPU에서 LLM을 서빙하다 보면 지연 시간에 먼저 발목이 잡힌다. 모델을 더 키우긴 어렵고 GPU를 더 붙이자니 비용이 걸린다. 이럴 때 손대볼 만한 게 추측 디코딩(speculat…
쿠버네티스에서 GPU로 LLM 추론 서빙하기
GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…
LLM 응답을 깨지지 않는 JSON으로 강제하기
사내에 vLLM이나 Ollama로 모델을 띄워놓고 거기에 데이터 추출이나 함수호출을 맡기다 보면, 결국 같은 자리에서 막힌다. 모델이 뱉은 텍스트를 json.loads() 에 넣는 순간이다. 열에 …