#GGUF · 4개
llama.cpp 투기적 디코딩으로 생성 속도 올리기
로컬에서 32B급 모델을 양자화해 돌리다 보면 토큰이 한 글자씩 느릿느릿 찍히는 걸 자주 본다. GPU 한 장으로는 메모리 대역폭이 생성 속도를 눌러버리는데, 여기서 모델을 더 키우지 않고 속도만 …
나나크나로·2026년 11월 16일·조회 1
llama.cpp 라우터로 GGUF 여러 개 서빙하기
로컬에서 모델을 여러 개 돌리다 보면 모델마다 llama-server 프로세스를 따로 띄우고 포트를 나눠 쓰게 된다. 채팅용, 코드용, 임베딩용으로 세 개를 올려 두면 쓰지도 않는 모델이 VRAM을…
llama.cpp로 로컬에 비전 모델 서빙하기
로컬에서 LLM을 돌릴 때 llama.cpp를 쓰는 사람은 많은데, 이미지를 넣는 멀티모달 쪽은 한동안 손이 잘 안 갔다. 예전엔 llava용 바이너리, clip 변환 스크립트가 모델마다 따로 있어…
GGUF 양자화 레벨 벤치마크로 고르기
로컬에서 LLM을 돌리기 시작하면 모델 자체보다 "어느 양자화 레벨을 받아야 하나"에서 더 오래 고민하게 된다. Hugging Face 저장소에 같은 모델이 Q4_K_M, Q5_K_M, Q8_0으로…