#Kafka · 9개
Kafka 스키마를 안전하게 바꾸기 - Schema Registry와 Avro로 호환성 지키고 배포 순서 사고 막기
메시지 스키마에 필드 하나 추가하는 일은 사소해 보인다. 그런데 카프카처럼 프로듀서와 컨슈머가 따로 배포되는 구조에서는 이 사소한 변경이 컨슈머를 멈춰 세우는 원인이 된다. 예전에 JSON 문자열을…
Testcontainers로 Spring Boot 통합 테스트에 진짜 DB와 Kafka 띄우기 - @ServiceConnection, 컨테이너 재사용, CI 설정
통합 테스트를 H2 인메모리 DB로 돌려놓고 운영은 PostgreSQL로 하는 프로젝트를 자주 본다. 나도 예전엔 그렇게 했다. 빠르고 편하니까. 문제는 방언(dialect) 차이에서 터진다. H2…
Redis Streams로 경량 메시지 큐 만들기 - XADD와 컨슈머 그룹, ACK와 PEL로 실패 메시지 재처리하기
WAS 여러 대를 붙여 운영하다 보면 "이 작업은 요청 응답에서 떼어내 뒤에서 처리하고 싶다"는 순간이 온다. 메일 발송, 썸네일 생성, 외부 API 재시도 같은 것들이다. 이럴 때 곧장 Kafka…
Kafka-Prometheus 연동
JMX-Exporter를 통한 prometheus 연동 JMX-Exporter JMX-Exporter는 Java 에이전트로 동작하며, HTTP서버와 로컬 JVM의 메트릭을 수집한다. 별도의 서버로 …
Apache Tomcatkafka 아키텍쳐 공부 - 1
Kafka란 pub-sub 모델의 Message Queue. 분산 환경에 특화되어있는 특징이 있다. * pub-sub? - Publish/Subscribe의 줄임말. 메시지 기반의 미들웨어 시스템을…
Kafka (카프카) 메시지 송수신
1. 개요 카프카 의 메시지 송수신을 소개한다. 기타 카프카 관련 Tech Note는 다음과 같다. 카프카 (Kafka) 카프카 설치 및 구성 (Kafka Installation) Kafka (카프…
Kafka (카프카) 핵심 구성요소
1. 개요 카프카 의 핵심 구성요소를 소개한다. 기타 카프카 관련 Tech Note는 다음과 같다. 카프카 (Kafka) 카프카 설치 및 구성 (Kafka Installation) Kafka (카프…
카프카 설치 및 구성 (Kafka Installation)
1. 소개 카프카를 설치, 구성하는 문서이다. 기타 카프카 관련 Tech Note는 다음과 같다. 카프카 (Kafka) 카프카 설치 및 구성 (Kafka Installation) Kafka (카프카…
카프카 (Kafka)
1. 개발 링크드인에서 개발되었고 카프카 개발자 3명이 분사하여 콘플루언트를 창업하였다. 현재는 아파치를 통해 제공되고 있다. 기타 카프카 관련 Tech Note는 다음과 같다. 카프카 (Kafka…