#LLM · 7개
LiteLLM 소개와 시작하기
Azure 환경을 운영하다 보면 LLM 공급자를 하나만 쓰는 팀을 만나기가 점점 어려워진다. 공급자가 늘어날 때마다 키를 어디에 두고 호출 코드를 어떻게 맞출지 고민하게 된다. 그 질문이 나올 때마…
Python으로 커스텀 MCP 서버 만들기
사내에 굴러다니는 조회용 API와 운영 DB가 있다. 매번 "이 주문 상태 좀 봐줘" 같은 요청이 오면 누군가 쿼리를 던지고 결과를 복사해 전달한다. 이런 반복 작업을 Claude 같은 LLM이 직…
주말만기다려·2026년 10월 19일·조회 2GGUF 양자화 레벨 벤치마크로 고르기
로컬에서 LLM을 돌리기 시작하면 모델 자체보다 "어느 양자화 레벨을 받아야 하나"에서 더 오래 고민하게 된다. Hugging Face 저장소에 같은 모델이 Q4_K_M, Q5_K_M, Q8_0으로…
stdio.h·2026년 10월 17일·조회 1쿠버네티스에서 GPU로 LLM 추론 서빙하기
GPU 노드를 쿠버네티스에 붙여달라는 요청은 요즘 거의 LLM 추론 때문에 온다. 모델 하나 띄우자고 A100 한 장을 통째로 파드에 묶어두면 아깝고, 그렇다고 CPU로 돌리자니 토큰이 안 나온다.…
LLM 응답을 깨지지 않는 JSON으로 강제하기
사내에 vLLM이나 Ollama로 모델을 띄워놓고 거기에 데이터 추출이나 함수호출을 맡기다 보면, 결국 같은 자리에서 막힌다. 모델이 뱉은 텍스트를 json.loads() 에 넣는 순간이다. 열에 …
stdio.h·2026년 10월 8일·조회 14Open WebUI로 사내 자체 호스팅 ChatGPT 만들기
사내에서 외부 ChatGPT 사용을 막아둔 곳이 늘고 있다. 계약서나 소스 코드를 붙여넣는 순간 데이터가 밖으로 나가니 보안팀 입장에선 당연한 조치다. 그래서 요즘 "우리 망 안에서만 도는 챗봇을 …
stdio.h·2026년 9월 22일·조회 12
AIClaude 모델별 차이점 (Haiku, Sonnet, Opus, Fable)
작년 12월에 ChatGPT와 Claude의 차이점 을 정리한 적이 있는데, 그새 Claude를 도입한 팀들에게서 받는 질문의 결이 싹 달라졌다. 예전에는 "뭘 쓸까"였다면 지금은 "Claude 모…