개발자와 운영자를 위한 기술 아카이브 & 커뮤니티 — 기사 2,167건과 게시판이 기다립니다.
vLLM에서 유효한 JSON만 뱉게 만들기
LLM으로 분류 결과나 추출 데이터를 받아 파이프라인에 넘기는 서비스를 운영하다 보면, 모델이 가끔 JSON 앞에 "물론이죠, 아래가 결과입니다" 같은 말을 붙이거나 마지막 중괄호를 빼먹는다. 프롬프트에 "JSON만 출력"이라고 아무리 못 박아도 10…
🧵 최근 게시판 토픽
게시판 전체 보기 →최근 글
전체 보기 →Claude 토큰 절약하는 법
Claude를 쓰다 보면 생각보다 사용량 한도가 빨리 차는 날이 있습니다. API로 서비스를 만들고 있다면 청구서가 예상보다 크게 나오기도 합니다. 작업이 복잡해서만은 아니고, 긴 대화 기록을 끌고…
AI 공격 시대의 서버 운영 점검
요즘은 코드를 짜거나 장애 원인을 찾을 때 AI를 쓰는 일이 흔해졌습니다. 그런데 이 도구를 반기는 쪽이 개발자와 운영자만은 아닙니다. 공격자도 같은 도구로 같은 일을 하기 시작했고, 서버를 맡고 …
강철지그·2026년 11월 9일·조회 1PostgreSQL 18 비동기 I/O 켜기
PostgreSQL 운영 글을 쓰다 보면 디스크 읽기가 느린 환경에서 순차 스캔과 VACUUM이 CPU는 놀면서 I/O 대기만 쌓이는 경우를 자주 만난다. PostgreSQL 18이 정식으로 나오면…
Hardware파나소닉 FS-A1을 openMSX로 되살리기
MSX를 다룬 글을 몇 편 쓰다 보면 FS-A1 이야기를 피하기 어렵다. 1985년 MSX2 규격이 나왔을 때 초기 기종들은 비쌌고, 가정에 들이기엔 부담스러운 물건이었다. 그 분위기를 바꾼 게 1…
동교동삼거리·2026년 11월 8일·조회 1로컬 임베딩 API로 RAG 검색 붙이기
RAG 파이프라인을 짜다 보면 가장 먼저 걸리는 게 임베딩 비용이다. 문서 수십만 건을 한 번 색인하고 끝이면 모르겠는데, 게시판처럼 글이 계속 쌓이는 서비스는 임베딩 호출이 끊기지 않는다. 사내 …
stdio.h·2026년 11월 8일·조회 1Velero로 클러스터 간 백업과 복구하기
쿠버네티스를 몇 년 굴리다 보면 "이 클러스터가 통째로 날아가면 뭘로 되살리지"라는 질문을 한 번은 마주하게 된다. etcd 스냅샷만으로는 영속 볼륨(PV) 데이터가 돌아오지 않고, GitOps로 …
PostgreSQL 17 네이티브 증분 백업
매일 밤 pg_basebackup 으로 전체 클러스터를 통째로 복사하던 운영 서버가 있었다. 데이터가 수백 GB로 불어나니 백업 한 번에 디스크와 네트워크가 꽤 오래 묶였다. 그동안은 WAL 아카이…
NIM Operator로 LLM 추론 선언형으로 배포하기
GPU 노드에 LLM 추론을 올릴 때 Deployment와 Service, PVC, ConfigMap, HPA를 손으로 엮다 보면 모델 하나 올리는 데 매니페스트가 대여섯 개로 불어난다. 모델 가중…
HardwareAcorn A3000를 Arculator로 다시 켜기
요즘 스마트폰부터 노트북까지 거의 모든 기기에 ARM 코어가 들어간다. 그 ARM이 처음 데스크톱 컴퓨터의 메인 CPU로 들어간 기계가 에이콘 아르키메데스 계열이고, 그중 가장 대중적으로 팔린 모델…
동교동삼거리·2026년 11월 6일·조회 4SLO 기반 자율 운영, 에러 버짓으로 판단하기
알림이 모자랐던 게 아니라 판단 기준이 없었다 대부분의 운영 조직은 이미 많은 것을 자동화했다. 오토스케일링, 헬스 체크에 따른 재시작, CI/CD가 일상적으로 돌아간다. 그런데도 새벽 3시에 사람…
llama.cpp로 로컬에 비전 모델 서빙하기
로컬에서 LLM을 돌릴 때 llama.cpp를 쓰는 사람은 많은데, 이미지를 넣는 멀티모달 쪽은 한동안 손이 잘 안 갔다. 예전엔 llava용 바이너리, clip 변환 스크립트가 모델마다 따로 있어…
stdio.h·2026년 11월 5일·조회 1vLLM KV 캐시를 CPU와 NVMe로 오프로딩하기
GPU 한 장으로 챗봇을 돌리다 보면 동시 접속이 조금만 늘어도 TTFT가 늘어지는 지점이 온다. 긴 시스템 프롬프트에 멀티턴 대화, 거기에 RAG로 끌어온 문서까지 매번 다시 prefill하면 G…
🔥 인기 글
yum을 이용한 Ansible Installation (CentOS 기준)
본 문서는 CentOS 기준으로 작성되었으며, yum을 이용하여 설치합니다. (1) 아래 명령문을 실행합니다. sudo yum install ansible (2) 설치에 성공하면 아래와 같이 Com…
golang REST API 서버 컨테이너 빌드
개요 golang으로 간단한 REST API 서버를 작성하고, 다중 스테이지(Multi stage) Dockerfile로 빌드하여 컨테이너로 배포한다. API 서버 모듈 임포트 REST API 서버…
Oracle Databasecolumn 위치에 따른 select 성능 비교
TABLE 의 컬럼 위치에 따른 select 성능 차이가 있는지 궁금하여 알아보던 중 좋은 글을 발견하여 테스트 해본 결과 입니다. --1. TEST 환경 구성 1) 250 개 COLUMN 테이블 …
Nginx 주요 설정 (nginx.conf)
1. 개요 지난 번 포스팅을 통해 OS X에서 Nginx 1.4.4를 설치 하여 보았습니다. 강철지그님께서는 계속 작업을 해주고 계십니다. Linux에서 Nginx 1.4.5 설치 Linux에서 N…
appsroot·2014년 2월 23일·조회 120,755오라클 접속 정보 설정(listener.ora, sqlnet.ora, tnsnames.ora)
- 오라클 접속 정보 설정(listener.ora, sqlnet.ora, tnsnames.ora)- ♣ listener.ora - 위치: 서버에서 $ORACLE_HOME/network/admin/l…
Tomcat 업그레이드 후 server.xml 설정 변경.
최근 Apache Tomcat의 AJP 취약점 발표이후, 해당 취약점에 대응하는 업그레이드 버전이 나왔다. 관련 취약점은 다음과 같다. Apache Tomcat AJP 취약점 보안 조치 권고(2차)…
혀뇽뇽이·2020년 3월 17일·조회 99,153