본문 바로가기
삵

#vLLM · 12개

vLLM Sleep Mode로 한 GPU에 여러 모델 돌리기

AI

A100 한 장에 모델 두 개를 올려두고 요청이 올 때만 번갈아 쓰고 싶은데, 둘을 동시에 상주시키면 VRAM이 모자라는 상황을 자주 만난다. 그렇다고 요청마다 프로세스를 내렸다 올리면 가중치 로딩…

냉냉장고를사다줘·2026년 11월 17일·조회 1

NeMo IORails로 LLM 입출력 지키기

AI

자체 호스팅 LLM을 사내 서비스에 꽂아두면, 모델 서빙보다 그 앞단을 지키는 일이 더 귀찮다. 프롬프트 탈옥 시도, 엉뚱한 주제로 끌고 가는 질문, 그리고 사용자가 아무렇지 않게 붙여 넣는 주민번…

냉냉장고를사다줘·2026년 11월 13일·조회 3

trtllm-serve로 엔진 빌드 없이 서빙하기

AI

vLLM으로 로컬 서빙을 붙여 둔 지가 좀 됐는데, 요즘 같은 H100이나 L40S 장비에서 "TensorRT-LLM이 더 빠르다더라"는 얘기를 심심찮게 듣는다. 예전에 TensorRT-LLM을 만…

냉냉장고를사다줘·2026년 11월 13일·조회 2

vLLM 리랭커로 RAG 검색 재정렬하기

AI

로컬 임베딩으로 RAG 검색을 붙여 돌려보면, 어느 순간 임베딩 모델만으로는 상위 몇 건의 순서가 애매하게 밀리는 걸 본다. 코사인 유사도로 20건을 긁어왔는데 정작 정답 문단이 7등, 8등에 처박…

냉냉장고를사다줘·2026년 11월 12일·조회 2

vLLM 재시작에서 모델 로딩 건너뛰기

AI

프로덕션에서 vLLM 설정 하나 바꾸려고 엔진을 내렸다 올릴 때마다 가중치 로딩을 멍하니 기다린 적이 있을 것이다. 70B급을 몇 장에 샤딩해 놓으면 디스크에서 safetensors를 다시 읽고 양…

냉냉장고를사다줘·2026년 11월 10일·조회 2

vLLM에서 유효한 JSON만 뱉게 만들기

AI

LLM으로 분류 결과나 추출 데이터를 받아 파이프라인에 넘기는 서비스를 운영하다 보면, 모델이 가끔 JSON 앞에 "물론이죠, 아래가 결과입니다" 같은 말을 붙이거나 마지막 중괄호를 빼먹는다. 프롬…

아아주라·2026년 11월 7일·조회 6

vLLM KV 캐시를 CPU와 NVMe로 오프로딩하기

AI

GPU 한 장으로 챗봇을 돌리다 보면 동시 접속이 조금만 늘어도 TTFT가 늘어지는 지점이 온다. 긴 시스템 프롬프트에 멀티턴 대화, 거기에 RAG로 끌어온 문서까지 매번 다시 prefill하면 G…

냉냉장고를사다줘·2026년 11월 4일·조회 3

SGLang과 vLLM 중 무엇을 쓸까

AI

요즘 LLM 서빙 엔진을 고르다 보면 거의 vLLM과 SGLang 둘로 좁혀진다. 예전에 vLLM EAGLE3로 처리량 끌어올리는 글을 쓴 적이 있는데, 그때 댓글이고 사내 메신저고 "RAG 챗봇은…

냉냉장고를사다줘·2026년 11월 3일·조회 4

Dynamo로 vLLM prefill과 decode 나누기

AI

GPU로 LLM을 서빙하는 글을 몇 번 썼다. 쿠버네티스에 vLLM을 올리는 것부터 EAGLE3 같은 추측 디코딩으로 처리량을 끌어올리는 것까지. 그런데 막상 운영에 넣어 보면 반복해서 걸리는 지점…

oopennova·2026년 11월 2일·조회 0

vLLM EAGLE3로 추론 처리량 끌어올리기

AI

로컬이나 사내 GPU에서 LLM을 서빙하다 보면 지연 시간에 먼저 발목이 잡힌다. 모델을 더 키우긴 어렵고 GPU를 더 붙이자니 비용이 걸린다. 이럴 때 손대볼 만한 게 추측 디코딩(speculat…

냉냉장고를사다줘·2026년 10월 31일·조회 5

쿠버네티스에서 GPU로 LLM 추론 서빙하기

AI

GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…

oopennova·2026년 10월 9일·조회 11

LLM 응답을 깨지지 않는 JSON으로 강제하기

AI

사내에 vLLM이나 Ollama로 모델을 띄워놓고 거기에 데이터 추출이나 함수호출을 맡기다 보면, 결국 같은 자리에서 막힌다. 모델이 뱉은 텍스트를 json.loads() 에 넣는 순간이다. 열에 …

stdio.hstdio.h·2026년 10월 8일·조회 22