#structured outputs · 3개
Claude 긴 세션의 지연 줄이기
코딩 에이전트나 컴퓨터 사용 에이전트를 돌려 본 사람은 턴이 쌓일수록 응답이 굼떠지는 걸 느낀다. 매 턴마다 지금까지의 대화 전체를 다시 올리고, 서버는 그걸 매번 검증하고 토큰화하기 때문이다. 대…
포포스트맨·2026년 11월 12일·조회 5
vLLM에서 유효한 JSON만 뱉게 만들기
LLM으로 분류 결과나 추출 데이터를 받아 파이프라인에 넘기는 서비스를 운영하다 보면, 모델이 가끔 JSON 앞에 "물론이죠, 아래가 결과입니다" 같은 말을 붙이거나 마지막 중괄호를 빼먹는다. 프롬…
아아주라·2026년 11월 7일·조회 6
LLM 응답을 깨지지 않는 JSON으로 강제하기
사내에 vLLM이나 Ollama로 모델을 띄워놓고 거기에 데이터 추출이나 함수호출을 맡기다 보면, 결국 같은 자리에서 막힌다. 모델이 뱉은 텍스트를 json.loads() 에 넣는 순간이다. 열에 …