본문 바로가기
삵
AI

llama.cpp 투기적 디코딩으로 생성 속도 올리기

나나크나로·2026년 11월 16일·조회 0

로컬에서 32B급 모델을 양자화해 돌리다 보면 토큰이 한 글자씩 느릿느릿 찍히는 걸 자주 본다. GPU 한 장으로는 메모리 대역폭이 생성 속도를 눌러버리는데, 여기서 모델을 더 키우지 않고 속도만 벌 수 있는 수단이 투기적 디코딩이다. 최근 llama.cpp가 --spec-type 하나로 여러 초안 방식을 고르게 바꾸면서 설정도 간단해졌다.

투기적 디코딩은 작은 드래프트 모델이 다음 토큰 몇 개를 미리 써두고, 본 모델이 그 초안을 한 번의 배치로 검수하는 방식이다. 초안이 많이 맞아떨어지면(수용률이 높으면) 생성 속도가 환경에 따라 다르지만 대략 1.5~2배까지 오른다. 반대로 드래프트 모델이 본 모델과 토크나이저가 어긋나거나 초안이 자꾸 틀리면 검수 비용만 더해져 오히려 느려진다.

1. 작은 모델이 초안을 쓰고 큰 모델이 검수한다

생성(디코딩)은 토큰을 하나 뽑을 때마다 모델 가중치 전체를 메모리에서 한 번씩 읽어야 한다. 공식 문서의 표현을 그대로 옮기면 "Computing n tokens in a batch (as in prompt processing) is more efficient than computing n sequentially (as in response generation)." 즉 토큰 n개를 한 배치로 계산하는 쪽이 n번 순차로 계산하는 것보다 싸다.

투기적 디코딩은 이 성질을 이용한다. 값싼 드래프트가 토큰 서너 개짜리 초안을 던지면, 비싼 본 모델이 그 초안 전체를 프롬프트 처리하듯 한 번에 밀어 넣어 검증한다. 맞은 토큰은 그대로 수용하고 처음 틀린 지점부터 버린다. 출력은 드래프트 없이 돌렸을 때와 토큰 단위로 동일하다. 품질은 그대로 두고 속도만 바꾸는 기법이다.

2. --spec-type으로 초안 방식 고르기

어떤 방식으로 초안을 만들지는 --spec-type으로 지정한다. 받는 값은 다음과 같다.

--spec-type [none|draft-simple|draft-eagle3|draft-dflash|draft-dflash2|
            draft-dspark|draft-lilicorr|draft-mtp|ngram-cache|
            ngram-simple|ngram-map-k|ngram-map-k4v|ngram-mod]

크게 두 갈래다. draft-*는 초안을 만드는 데 별도의 모델이나 예측 헤드를 쓰고, ngram-*는 모델 없이 입력과 지금까지의 출력에서 n그램을 뽑아 초안을 맞춘다.

draft-simple은 가장 흔한 방식이다. 본 모델과 짝이 되는 작은 GGUF 모델을 따로 띄워 초안을 생성한다. 코드 생성이나 자유 서술처럼 범용 작업에 무난하다.

draft-mtp는 본 모델에 붙은 멀티 토큰 예측(MTP) 헤드를 그대로 쓴다. 모델 자체가 MTP 헤드를 갖고 배포된 경우에 쓰며, 별도 드래프트 모델을 로드하지 않아도 된다.

draft-dflash와 draft-eagle3은 본 모델에 맞춰 변환한 전용 초안 헤드를 쓰는 방식이다. 본 모델의 토크나이저와 은닉 상태를 공유하도록 변환해야 초기화되고, 사양이 어긋나면 로드 단계에서 멈춘다.

드래프트 모델을 로드하는 draft-simple 기준으로 서버를 띄우면 이렇게 된다.

llama-server \
  -m  Qwen2.5-32B-Instruct-Q4_K_M.gguf \
  --spec-type draft-simple \
  -md Qwen2.5-0.5B-Instruct-Q4_K_M.gguf \
  --spec-draft-n-max 4 \
  --spec-draft-p-min 0.6

옵션 의미는 다음과 같다. -md, --spec-draft-model은 드래프트 모델 파일 경로다. --spec-draft-n-max N은 한 번에 초안으로 내놓을 토큰 수로 기본값 3이다. --spec-draft-n-min N은 최소 초안 토큰 수다. --spec-draft-p-min P는 초안을 계속 이어갈 최소 확률로 기본값 0.00이며, 드래프트가 이 값보다 자신 없으면 거기서 초안을 끊는다.

3. 드래프트 모델은 본 모델과 한 집안이어야 한다

draft-simple에서 가장 자주 막히는 지점이 드래프트 모델 선택이다. 드래프트와 본 모델은 어휘집과 토크나이저가 같아야 한다. 같은 모델 계열의 작은 크기(예: 32B 본 모델에 0.5B 또는 1.5B 드래프트)를 고르는 것이 안전하다.

토크나이저가 맞지 않으면 초안 토큰을 본 모델이 해석하지 못하고, 로드 시점에 어휘 불일치 에러로 끝난다. 전혀 다른 계열을 섞으면 설령 로드돼도 수용률이 바닥을 긴다.

크기 선택에도 요령이 있다. 드래프트가 너무 크면 초안 생성 자체가 느려 이득이 줄고, 너무 작으면 초안이 자주 틀려 수용률이 떨어진다. 본 모델 파라미터의 수십 분의 일 수준에서 시작해 수용률을 보며 조정한다.

4. 수용률 통계를 읽어 역효과를 가려낸다

투기적 디코딩을 켜면 세션 종료 시 각 초안 방식별 통계가 찍힌다. 라벨은 지정한 --spec-type에 따라 달라진다.

statistics draft: #calls = 10, #gen drafts = 10, #acc drafts = 10, #gen tokens = 110, #acc tokens = 98
statistics ngram_simple: #calls = 15, #gen drafts = 5, #acc drafts = 5, #gen tokens = 187, #acc tokens = 73
statistics ngram_mod: #calls = 810, #gen drafts = 15, #acc drafts = 15, #gen tokens = 960, #acc tokens = 730

필드 뜻은 이렇다. #calls는 초안 생성을 호출한 횟수, #gen tokens는 드래프트가 내놓은 초안 토큰의 총합, #acc tokens는 본 모델이 수용한 토큰 수다. 체감 효율을 가늠하는 값은 수용 토큰을 생성 토큰으로 나눈 비율이다. 위 draft 줄이면 98/110, 즉 0.89로 초안 열 개 중 아홉 개 가까이가 살아남은 셈이다.

수용률은 별도의 한 줄로도 출력된다.

draft acceptance rate = 0.57576 (171 accepted / 297 generated)

이 숫자가 낮으면 역효과 구간에 들어간 것이다. 드래프트가 만든 초안을 본 모델이 자꾸 버리면, 초안 생성 비용과 검수 비용이 둘 다 낭비된다. 경험상 수용률이 0.6 아래로 떨어지면 투기적 디코딩을 끄고 돌리는 쪽이 빠른 경우가 많다.

수용률이 낮을 때 손볼 곳은 세 군데다. 먼저 --spec-draft-n-max를 줄여 초안 길이를 짧게 한다. 초안이 길수록 뒤쪽에서 틀릴 확률이 커지기 때문이다. 다음으로 --spec-draft-p-min을 0.6 안팎으로 올려 드래프트가 자신 없는 초안을 일찍 끊게 한다. 그래도 낮으면 드래프트 모델을 본 모델과 더 가까운 계열로 바꾼다.

반대로 수용률이 0.85를 넘기면 --spec-draft-n-max를 5~6으로 늘려 한 번에 더 많은 토큰을 벌어볼 여지가 있다. 작업 성격(코드, 번역, 자유 대화)마다 수용률이 달라지므로, 실제 트래픽과 같은 프롬프트로 한 번 측정한 뒤 값을 고정하는 편이 낫다.

자주 묻는 질문

드래프트 모델은 아무 작은 모델이나 써도 되나

안 된다. 드래프트 모델은 본 모델과 토크나이저와 어휘집이 같아야 한다. 같은 모델 계열의 작은 크기를 골라야 하며, 다른 계열을 섞으면 어휘 불일치로 로드가 실패하거나 수용률이 바닥을 긴다.

draft-simple과 draft-mtp는 무엇이 다른가

draft-simple은 본 모델과 짝이 되는 별도의 작은 GGUF 모델을 로드해 초안을 만든다. draft-mtp는 본 모델에 이미 붙어 있는 멀티 토큰 예측(MTP) 헤드를 써서 별도 드래프트 모델을 로드하지 않는다. 모델이 MTP 헤드를 갖고 배포됐을 때 draft-mtp를 쓴다.

투기적 디코딩을 켰는데 더 느려졌다

수용률이 낮으면 초안 생성과 검수 비용이 둘 다 낭비돼 역효과가 난다. 세션 종료 시 찍히는 draft acceptance rate를 확인하고, 0.6 아래면 --spec-draft-n-max를 줄이거나 --spec-draft-p-min을 올려본다. 그래도 낮으면 드래프트 모델을 본 모델과 더 가까운 계열로 바꾼다.

수용률은 어디서 확인하나

llama-server나 llama-cli 세션이 끝날 때 statistics 줄과 draft acceptance rate 줄이 출력된다. acceptance rate는 수용 토큰을 생성 토큰으로 나눈 값으로, 체감 속도 이득을 가늠하는 기준이 된다.

모델 없이 쓰는 ngram 방식은 언제 쓰나

ngram-simple이나 ngram-mod 같은 ngram-* 방식은 드래프트 모델 없이 입력과 지금까지의 출력에서 n그램을 뽑아 초안을 맞춘다. 긴 문맥을 그대로 반복하거나 인용하는 작업처럼 출력이 입력과 많이 겹칠 때 효과가 있다.

관련 글

댓글 0

로그인 후 댓글을 남길 수 있습니다.

아직 댓글이 없습니다.