LLM 청구서에서 눈에 띄는 건 완전히 똑같은 질문보다 조금씩 말만 바꾼 질문들이다. "머신러닝이 뭐야"와 "머신러닝에 대해 설명해줘"는 토큰 단위로는 다른 요청이라 정확 일치 캐시(exact-match)에 걸리지 않고 매번 모델을 호출한다. 고객지원 봇이나 사내 위키 챗봇을 운영해 보면 이런 의미는 같고 표현만 다른 중복이 트래픽의 꽤 큰 비중을 차지한다. vLLM Semantic Router의 시맨틱 캐시가 노리는 지점이 바로 여기다.
시맨틱 캐시는 질문을 임베딩 벡터로 바꾼 뒤, 과거에 처리한 질문들과 코사인 유사도를 비교해 충분히 비슷하면 저장해 둔 응답을 그대로 돌려준다. 모델 호출 자체를 건너뛰므로 토큰 비용과 지연이 함께 빠진다. 인메모리 HNSW 백엔드를 쓰면 Redis나 Milvus 같은 외부 의존성 없이 단일 노드에서 바로 돌릴 수 있고, 민감도는 similarity_threshold 하나로 조절한다. v0.4.0 Hermes 버전은 여기에 더해 임베딩, BM25, 분류기 신호를 조합해 요청마다 어느 모델로 보낼지까지 결정한다.
1. 정확 일치 캐시가 놓치는 패러프레이즈
정확 일치 캐시는 요청 문자열을 해시해서 키로 쓴다. 공백 하나만 달라도 다른 키가 되니 "서울 날씨 알려줘"와 "서울 날씨 좀"은 서로 남남이다. 실제 사용자 입력은 같은 의도를 수십 가지로 쓰기 때문에 히트율이 잘 안 오른다.
시맨틱 캐시는 키를 문자열이 아니라 임베딩 벡터로 잡는다. 질문을 벡터로 바꾸고, 캐시에 들어 있는 벡터들 중 코사인 유사도가 임계값 이상인 게 있으면 히트로 처리한다. "파이썬에서 리스트 뒤집는 법"과 "파이썬 리스트 역순으로 만들기"는 임베딩 공간에서 가깝게 찍히므로 같은 응답을 재사용할 수 있다. 캐시 엔트리에는 요청 벡터와 응답 본문, 모델명, 히트 카운트, 타임스탬프가 함께 저장된다.
다만 유사도 기반이라 틀릴 여지가 있다. "파이썬 리스트 정렬"과 "파이썬 리스트 역정렬"처럼 의미가 반대인데 벡터는 가까운 경우가 있어서, 임계값을 너무 낮게 잡으면 엉뚱한 응답을 재사용하는 거짓 히트가 생긴다. 이 균형을 잡는 게 설정의 핵심이고, 뒤에서 다룬다.
2. 인메모리 HNSW 백엔드 올리기
캐시에 벡터가 쌓이면 새 질문이 올 때마다 전부와 유사도를 비교하는 건 선형 탐색이라 느려진다. HNSW(Hierarchical Navigable Small World)는 벡터들을 다층 그래프로 엮어 근사 최근접 이웃을 O(log n)에 가깝게 찾는 인덱스다. 정확도를 조금 양보하는 대신 캐시가 수만 건으로 커져도 조회가 일정하게 빠르다. 인메모리 백엔드는 이 HNSW 인덱스를 프로세스 메모리에 올려 외부 저장소 없이 동작한다.
패키지 설치부터 한다. 버전 번호는 저장소 상태에 따라 다를 수 있다.
$ pip install vllm-sr==0.4.0 Successfully installed vllm-sr-0.4.0
캐시 설정은 설정 파일의 semantic_cache 블록에 넣는다. 인메모리 HNSW 기준 전형적인 형태다.
semantic_cache: enabled: true backend_type: "memory" similarity_threshold: 0.85 max_entries: 50000 ttl_seconds: 7200 eviction_policy: "lru" use_hnsw: true hnsw_m: 16 hnsw_ef_construction: 200
hnsw_m은 그래프에서 노드 하나가 갖는 양방향 링크 수로 기본값 16이다. 값을 키우면 검색 품질이 올라가지만 메모리와 인덱스 구축 시간이 늘어난다. hnsw_ef_construction은 인덱스를 만들 때 유지하는 후보 리스트 크기로 기본값 200이고, 역시 크면 품질이 좋아지는 대신 적재가 느려진다. 처음에는 기본값을 그대로 두고 쓰는 걸 권한다. 캐시 엔트리가 수십만 건을 넘어 리콜이 떨어진다고 느껴질 때만 올리면 된다.
max_entries에 도달하면 eviction_policy에 따라 엔트리를 버린다. 선택지는 fifo, lru, lfu 셋이다. 챗봇처럼 최근 주제가 반복되는 트래픽에는 lru가 무난하고, 특정 인기 질문이 꾸준히 반복되는 성격이면 lfu가 낫다. ttl_seconds는 엔트리 수명이다. 7200이면 2시간 뒤 만료라서, 자주 바뀌는 정보를 다루면 짧게 잡아 오래된 응답이 재사용되지 않게 한다.
같은 질문을 두 번 던져 동작을 확인한다. 첫 호출은 미스라 모델을 타고, 두 번째는 히트라 눈에 띄게 빨리 돌아온다.
$ curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"MoM","messages":[{"role":"user","content":"머신러닝이 뭐야?"}]}'
$ curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"MoM","messages":[{"role":"user","content":"머신러닝에 대해 설명해줘"}]}'
히트 여부는 라우터 로그와 메트릭에서 확인한다. 두 번째 요청이 캐시에서 나왔다면 모델 호출 없이 응답이 반환되고, 지연은 임베딩 조회 비용만 남는다. 체감 절감폭은 트래픽의 중복 비중에 따라 크게 갈리므로, 도입 전에 로그에서 패러프레이즈 중복이 얼마나 되는지 먼저 보는 게 순서다.
3. similarity_threshold를 고를 때 걸리는 지점
임계값은 0.0에서 1.0 사이 코사인 유사도다. 0.85가 출발점으로 쓸 만하지만 도메인에 따라 조정이 필요하다. 처음 돌려 보면 여기서 한 번 걸린다. 임계값을 0.75 언저리로 낮추면 히트율은 올라가는데 의미가 다른 질문까지 같은 응답을 받아 가는 거짓 히트가 섞인다. 반대로 0.95로 올리면 거짓 히트는 거의 사라지지만 어지간히 비슷하지 않고는 히트가 안 나서 캐시 효용이 떨어진다.
실무에서는 카테고리별로 임계값을 달리 두는 방식을 권한다. 코드나 수식처럼 작은 표현 차이가 결과를 바꾸는 도메인은 임계값을 높게, 일반 상식 질의응답은 낮게 잡는다. vLLM Semantic Router는 도메인 분류 신호와 캐시를 함께 쓸 수 있어서, 카테고리를 먼저 판별한 뒤 그 카테고리에 맞는 유사도 기준을 적용하는 구성이 가능하다.
검증은 눈대중보다 로그를 본다. 히트로 처리된 요청의 원본 질문과 캐시된 질문을 짝지어 뽑아 놓고, 의미가 정말 같은지 샘플을 훑는다. 거짓 히트가 보이면 임계값을 0.02씩 올려 가며 다시 본다.
4. 임베딩과 BM25, 분류기로 모델 고르기
Semantic Router의 라우팅은 캐시와 별개로 요청을 여러 신호로 평가해 어느 모델로 보낼지 정한다. 비싼 대형 모델과 저렴한 소형 모델을 섞어 둔 환경에서, 쉬운 질문은 소형으로 어려운 질문만 대형으로 보내 비용을 깎는 게 목적이다.
임베딩 신호는 요청 벡터를 미리 등록한 앵커 벡터들과 비교해 의도와 도메인을 추정한다. BM25 신호는 Okapi BM25 역색인으로 키워드 증거를 점수화한다. 용어 빈도 포화 파라미터 k1은 기본 1.2, 길이 정규화 b는 기본 0.75이고, 점수가 임계값(기본 0.1)을 넘으면 해당 규칙이 매칭된다. BM25는 추론 없이 빠르게 돌아서 긴급 키워드나 특정 단어 가드처럼 즉각 판단이 필요한 곳에 쓴다. 분류기 신호는 로컬이나 외부 분류 모델의 라벨 점수를 받아 도메인, 안전성 같은 범주로 가른다.
이 신호들을 조합해 결정을 내리므로, 의미 기반 매칭이 필요한 자리에는 임베딩을, 리터럴한 키워드 매칭이 중요한 자리에는 BM25를 배치하는 식으로 역할을 나눈다. 캐시 히트는 이 라우팅 앞단에서 가로채므로, 캐시에 맞은 요청은 모델 선택 자체가 생략된다.
5. 단일 노드면 메모리, 여러 노드면 하이브리드
백엔드는 memory, redis, valkey, milvus, qdrant, hybrid를 고를 수 있다. 라우터 인스턴스가 하나면 인메모리 HNSW로 충분하다. 외부 의존성이 없고 가장 빠르다. 단점은 프로세스가 재시작되면 캐시가 날아가고, 여러 인스턴스를 띄우면 캐시가 공유되지 않는다는 점이다.
인스턴스를 수평 확장하거나 재시작에도 캐시를 유지해야 하면 Redis나 Valkey로 분산 캐시를 쓴다. 캐시 규모가 수백만 건으로 커지면 Milvus나 Qdrant 같은 벡터 DB 백엔드가 맞다. 둘 사이의 절충이 hybrid다. 인메모리 HNSW 인덱스에 모든 임베딩을 올려 빠르게 검색하고, 문서 본문은 Milvus에서 ID로 가져온다. 검색 속도는 인메모리급으로 유지하면서 저장 용량은 벡터 DB로 확장하는 구성이다.
정리하면 단일 노드 개발이나 소규모 운영은 memory, 여러 노드 운영은 redis나 valkey, 대규모면 hybrid가 출발점이다. 어느 백엔드를 고르든 similarity_threshold 튜닝과 거짓 히트 점검은 똑같이 거쳐야 하니, 임계값부터 로그로 잡아 두고 백엔드는 트래픽이 커질 때 바꿔도 늦지 않다.