#Ollama · 4개

로컬에서 LLM을 돌리기 시작하면 모델 자체보다 "어느 양자화 레벨을 받아야 하나"에서 더 오래 고민하게 된다. Hugging Face 저장소에 같은 모델이 Q4_K_M, Q5_K_M, Q8_0으로…

stdio.h·2026년 10월 17일·조회 1

사내에 vLLM이나 Ollama로 모델을 띄워놓고 거기에 데이터 추출이나 함수호출을 맡기다 보면, 결국 같은 자리에서 막힌다. 모델이 뱉은 텍스트를 json.loads() 에 넣는 순간이다. 열에 …

stdio.h·2026년 10월 8일·조회 14

사내에서 외부 ChatGPT 사용을 막아둔 곳이 늘고 있다. 계약서나 소스 코드를 붙여넣는 순간 데이터가 밖으로 나가니 보안팀 입장에선 당연한 조치다. 그래서 요즘 "우리 망 안에서만 도는 챗봇을 …

stdio.h·2026년 9월 22일·조회 12

GPU EC2에 Ollama + Open WebUI로 사내 로컬 LLM API 서버 구축하기 (OpenAI 호환 엔드포인트)

요약부터 말씀드릴게요. Ollama 를 GPU 서버에 설치하면 그 자체로 11434 포트에 OpenAI 호환 API( /v1/chat/completions )가 열립니다. 여기에 Open WebUI…