아주라 님의 글 51
Langfuse 자체 호스팅으로 LLM 앱 관측하기 - 트레이스 계측, 토큰 비용 추적, 프롬프트 버전과 평가 대시보드
LLM 애플리케이션을 운영에 올리고 나면 항상 같은 질문을 받는다. "이번 달 OpenAI 요금이 왜 이렇게 나왔나", "어제 그 답변이 왜 이상하게 나갔나", "프롬프트를 바꿨는데 품질이 좋아진 …
Datadog은 언제 도입하나 - 클라우드 기본 모니터링의 한계와 요금 정리
모니터링 도구 이야기가 나오면 대체로 두 부류로 갈린다. 클라우드 기본 도구만으로 아직 버티는 팀과, 서비스가 늘면서 확인할 화면이 여기저기 흩어져 곤란해진 팀이다. 예전에 Datadog으로 Kub…
eBPF로 실행 중인 애플리케이션 추적하는 방법 (bpftrace, bcc)
운영 중인 애플리케이션에서 원인을 알 수 없는 지연이 생기면 제일 먼저 나오는 말이 "로그 좀 더 찍고 재배포하자"다. 그런데 재현이 안 되는 문제일수록 재배포 순간에 증상이 사라진다. 예전에 쿠버…
쿠버네티스 Affinity의 operator 사용법
1. 개요 Affinity에서 사용하게 되는 operator에 대한 설명이다. 2. 분류 In - values 필드에 설정한 값 중 레이블에 있는 값과 일치하는 것이 하나라도 있으면 매칭 - 따라서…
쿠버네티스 클러스터 업그레이드 방법
1. 절차 1.1. 마스터 노드 작업 마스터 노드 drain 마스터 노드 kubeadm 업그레이드 마스터 노드 kubectl, kubeadm 업그레이드 마스터 노드 uncordon 1.2. 커맨드 …
쿠버네티스 Taint, Toleration 정리
1. Taint 1.1. Taint란? Taint의 사전적인 의미는 "얼룩"이다. 이 기능의 목적은 해당 노드에 지정된 역할만 실행하게끔 하는 것이다. Taint는 노드에 설정한다 노드를 새로 구성…
Kubernetes vs. Openshift 차이점
1. 개요 쿠버네티스와 오픈시프트 차이점을 알아보는 문서이다. 2. 쿠버네티스란 쿠버네티스가 무엇인지에 대한 설명까지는 생락한다. 3. 관리형 쿠버네티스가 나온 배경 쿠버네티스의 사상은 참 좋다. …
Datadog으로 Kubernetes 모니터링하기 (설치/설정)
1. Datadog Operator 설치 먼저 Helm이 설치되어 있어야 한다. 리포지토리를 추가한다. $ helm repo add datadog https://helm.datadoghq.com W…
Kubernetes 모니터링 툴인 Pixie 설치 후기
1. 소개 Pixie 설치 후기. 2. 다운로드 $ bash -c "$(curl -fsSL https://withpixie.ai/install.sh)" ___ _ _ | _ \(_)__ __(_) …
Ansible vs Puppet 차이점을 알아봄
1. 개요 Ansible과 Puppet의 차이점을 알아보는 아티클이다. 2. Ansible은? Ansible은 Michael DeHaan이 만들었고 2012년 AnsibleWorks에 의해 소개되었…
마이크로서비스 모니터링을 위한 Sleuth와 Zipkin에 대해 알아봄
1. 개요 마이크로서비스 아키텍처 분산 서비스를 모니터링하기 위한 Sleuth와 Zipkin에 대해 알아보자. 2. Sleuth란? 클라이언트의 호출은 여러 서비스를 거쳐 처리되므로 전체적인 로그 …
Prometheus를 통한 GKE 모니터링
1. 개요 Kubernetes와 Prometheus는 매우 밀접한 관계이다. Kubernetes의 전신은 Borg라고 할 수 있는데, Borgmon이 Prometheus에 큰 영향을 주었기 때문이다…