GPU 한 장에 모델을 올리고 나면 다음 벽은 거의 항상 KV 캐시다. 가중치는 다 올라갔는데 컨텍스트를 조금만 늘리거나 동시 요청을 몇 개 더 받으면 CUDA out of memory가 뜬다. 가중치를 FP8로 눌러도 KV 캐시가 BF16 그대로면 긴 컨텍스트에서 메모리를 다 잡아먹기 때문이다. 이걸 손대는 스위치가 --kv-cache-dtype fp8다.
결론부터 말하자면, KV 캐시를 FP8로 바꾸면 캐시 저장량이 BF16 대비 대략 절반으로 줄고, 그만큼 더 긴 컨텍스트나 더 큰 동시 배치를 같은 GPU에 태울 수 있다. 정확도 손실은 캘리브레이션 스케일과 민감 레이어 제외로 상당 부분 회복되므로, 설정 한 줄 추가에 그치지 말고 스케일까지 챙기는 게 핵심이다.
1. KV 캐시가 메모리를 먹는 구조
KV 캐시는 어텐션에서 이미 계산한 토큰의 키와 값 텐서를 저장해 두는 버퍼다. 매 토큰마다 앞선 전체 토큰과 어텐션을 다시 계산하지 않으려고 캐싱하는 건데, 시퀀스가 길어질수록, 동시 요청이 많을수록 선형으로 커진다. 모델 가중치는 고정이지만 KV 캐시는 트래픽에 따라 불어나는 가변 비용이다.
기본값은 auto로, 모델 네이티브 dtype(보통 BF16이나 FP16)을 그대로 쓴다. 여기서 --kv-cache-dtype fp8을 주면 키와 값 텐서를 8비트 부동소수점으로 저장한다. BF16이 토큰당 2바이트라면 FP8은 1바이트라서, 같은 메모리로 두 배 긴 컨텍스트를 담거나 두 배 많은 요청을 태울 여지가 생긴다.
FP8에는 포맷이 둘 있다. fp8_e4m3은 지수 4비트에 가수 3비트로 정밀도가 높고, fp8_e5m2는 지수 5비트에 가수 2비트로 표현 범위가 넓은 대신 정밀도가 낮다. 어텐션 KV 값은 범위보다 정밀도가 중요하므로 fp8(=fp8_e4m3의 별칭)을 쓴다. vLLM 공식 분석도 e4m3만 사용한다.
2. 스케일 없이 그냥 켜보기
일단 가장 단순한 형태로 켜본다. 별도 캘리브레이션 없이 플래그만 추가하는 방식이다.
$ vllm serve meta-llama/Meta-Llama-3-8B-Instruct \
--kv-cache-dtype fp8 \
--max-model-len 32768
INFO ... Using FP8 KV cache
INFO ... GPU KV cache size: ... tokens
INFO ... Maximum concurrency for 32,768 tokens per request: ...x
여기서 막상 돌려보면 Maximum concurrency 줄의 숫자가 auto로 돌렸을 때보다 눈에 띄게 커져 있는 걸 볼 수 있다. KV 블록당 바이트가 줄었으니 같은 VRAM에서 잡을 수 있는 블록 수가 늘어난 결과다.
다만 이렇게만 켜면 vLLM은 모든 양자화 스케일을 1.0으로 둔다. 캘리브레이션을 안 했으니 당연한 건데, 모델에 따라서는 긴 컨텍스트에서 정확도가 조금씩 깎이는 게 보일 수 있다. 여기서 한 번 걸렸다면 다음 단계인 캘리브레이션으로 넘어가면 된다.
3. llm-compressor로 캘리브레이션 스케일 굽기
스케일 1.0은 K, V 값의 실제 분포와 무관한 임시값이다. 실제 데이터를 흘려보내 각 텐서가 어느 범위에 몰리는지 재고, 그 범위에 맞춰 스케일을 정하면 FP8의 좁은 표현 공간을 더 알뜰하게 쓴다. 이 작업을 llm-compressor가 맡는다.
$ pip install llmcompressor
캘리브레이션 데이터셋을 몇백 샘플 흘려 스케일을 굽고, 스케일이 박힌 모델을 디렉터리로 저장하는 스크립트다. 레시피의 kv_cache_scheme이 KV 캐시 양자화 설정이다.
from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset
from llmcompressor import oneshot
MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(MODEL_ID)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
DATASET_ID = "HuggingFaceH4/ultrachat_200k"
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048
ds = load_dataset(DATASET_ID, split=f"train_sft[:{NUM_CALIBRATION_SAMPLES}]")
ds = ds.shuffle(seed=42)
def process_and_tokenize(example):
text = tokenizer.apply_chat_template(example["messages"], tokenize=False)
return tokenizer(text, padding=False, max_length=MAX_SEQUENCE_LENGTH,
truncation=True, add_special_tokens=False)
ds = ds.map(process_and_tokenize, remove_columns=ds.column_names)
recipe = """
quant_stage:
quant_modifiers:
QuantizationModifier:
ignore: ["lm_head"]
kv_cache_scheme:
num_bits: 8
type: float
strategy: tensor
dynamic: false
symmetric: true
"""
oneshot(model=model, dataset=ds, recipe=recipe,
max_seq_length=MAX_SEQUENCE_LENGTH,
num_calibration_samples=NUM_CALIBRATION_SAMPLES)
SAVE_DIR = MODEL_ID.split("/")[-1] + "-FP8-KV"
model.save_pretrained(SAVE_DIR, save_compressed=True)
tokenizer.save_pretrained(SAVE_DIR)
strategy: tensor는 Q, K, V 텐서마다 스케일 하나를 쓰는 per-tensor 방식이다. 헤드별로 더 촘촘하게 스케일을 두는 per-attention-head(attn_head)도 있는데, 이건 Flash Attention 백엔드가 있어야 동작한다. 처음에는 per-tensor로 충분하다.
굽고 난 모델을 서빙할 때도 --kv-cache-dtype fp8을 똑같이 줘야 저장된 스케일이 활성화된다. 플래그를 빼면 스케일이 박혀 있어도 캐시 양자화 자체가 꺼진다.
$ vllm serve ./Meta-Llama-3-8B-Instruct-FP8-KV \
--kv-cache-dtype fp8 \
--max-model-len 32768
4. 민감한 레이어는 FP8에서 빼기
모든 어텐션 레이어가 FP8을 똑같이 잘 견디는 건 아니다. 특히 sliding-window 어텐션 레이어가 문제다. 이 레이어는 어텐션 범위가 128~512 토큰처럼 짧게 묶여 있어서 KV 캐시 자체가 애초에 작다. 긴 컨텍스트로 가도 캐시가 거의 안 불어나니 FP8로 줄여 얻는 메모리 이득은 작은데, 양자화 오차는 그대로 떠안는다. 손해 보는 장사다.
그래서 하이브리드 어텐션 모델(gpt-oss 계열 등)에서는 이런 레이어를 FP8에서 빼는 걸 권한다. --kv-cache-dtype-skip-layers에 어텐션 타입 이름을 주면 된다.
$ vllm serve openai/gpt-oss-20b \
--kv-cache-dtype fp8 \
--kv-cache-dtype-skip-layers sliding_window
타입 이름 대신 레이어 인덱스를 직접 지정할 수도 있다. 특정 레이어가 유독 양자화에 민감하다고 판단되면 번호로 콕 집어 뺀다.
$ vllm serve <model> \
--kv-cache-dtype fp8 \
--kv-cache-dtype-skip-layers 0 1 23
지정한 레이어는 모델 네이티브 dtype으로 남고 나머지만 FP8로 간다. vLLM 팀 분석에서는 gpt-oss-20b에서 sliding_window를 빼면 전체 FP8 대비 토큰 간 지연(ITL) 기울기가 더 낮아져서, 메모리 이득이 없는 레이어의 양자화 오버헤드만 걷어내는 효과가 확인됐다.
5. 정확도와 처리량 실제로 재보기
FP8 KV 캐시는 공짜가 아니다. 켜기 전후로 정확도와 처리량을 직접 재서 트레이드오프를 눈으로 봐야 한다. 정확도는 lm-eval로 같은 벤치마크를 auto와 fp8 두 번 돌려 비교한다.
$ lm_eval --model vllm \
--model_args pretrained=meta-llama/Meta-Llama-3-8B-Instruct,kv_cache_dtype=fp8 \
--tasks gsm8k \
--batch_size auto
처리량은 vLLM 내장 벤치마크로 같은 부하를 양쪽에 걸어 output throughput을 비교한다.
$ vllm bench serve \
--model meta-llama/Meta-Llama-3-8B-Instruct \
--dataset-name random \
--random-input-len 8000 \
--random-output-len 1000 \
--num-prompts 200
수치는 GPU, 모델, 입출력 길이에 따라 크게 달라지니 환경에서 직접 재는 게 맞다. 경향만 말하면, vLLM 팀 분석에서 FP8 KV 캐시는 추론 벤치마크에서 1~2점 안쪽의 정확도 저하에 그쳤고, 메모리 바운드인 디코딩 구간에서 토큰당 KV 비용이 BF16 대비 절반 수준까지 내려갔다. 처리량 이득은 컨텍스트가 길어 KV 캐시가 병목이 될 때 커지고, 짧은 입력에서는 FP8 변환 오버헤드 때문에 오히려 득이 없을 수 있다. 같은 분석에서 손익분기 컨텍스트 길이를 대략 7천 토큰 안팎으로 봤다.
그래서 권장은 이렇게 잡는다. 긴 컨텍스트나 높은 동시성이 목표라면 FP8 KV 캐시를 켜되, 정확도가 조금이라도 중요하면 스케일 1.0에 안주하지 말고 llm-compressor로 캘리브레이션해서 서빙하라. 하이브리드 어텐션 모델이면 --kv-cache-dtype-skip-layers sliding_window를 함께 주는 게 이득 없는 오버헤드를 줄이는 길이다.
다음으로 볼 만한 건 가중치 FP8 양자화와의 조합이다. 가중치와 KV 캐시를 함께 FP8로 내리면 메모리 여유가 더 생기는데, 둘이 겹쳐 정확도가 어디서부터 꺾이는지는 모델마다 다르다. 쓰는 모델로 lm-eval 한 번 돌려 선을 그어 두는 걸 권한다.