스프링 배치 (Spring Batch)

1. 스프링 배치의 탄생

2007년, SpringSource 사와 Accenture 사의 공동작업으로 스프링 배치가 탄생했다.

Accenture 사의 배치 프레임웍 관련 경험과 SpringSource 사의 기술적 전문지식 및 검증된 스프링 프로그래밍 모델이 스프링 배치에 녹아 있다고 한다. 스프링 배치를 이용하면, 대용량 배치에 맞는 읽기 방식과 Transaction 처리를 간단히 구현할 수 있다고 한다.

여기서 잠깐!

스프링 배치는 스케쥴러가 아니다! Batch Job을 관리하지만 스케쥴링에 따라 Job을 구동하는 기능은 지원하지 않는다. Quartz나 cron이 스케쥴러 역할을 하게된다.

2. 배치 작업이란?

유한한 시간동안 수행된 후 종료되는 프로그램
주기적으로 (일, 주) 수행되는 프로그램

3. 스프링 배치의 핵심 기능

스프링 프레임웍 기반
배치 기반 처리
자체제공 컴포넌트
견고함과 안정성
파티셔닝

4. 스프링 배치가 지원하는 저장소 관련 기술

스프링 배치는 ItemReader, ItemWriter의 여러 구현체를 제공한다.

JDBC (Cursor & Driving Query) : 페이징, 커서, 일괄 업데이트 등
Hibernate : 페이징 커서
JPA(Java Persistence API) : 페이징
iBatis : 현재는 삭제됨
Flat File : 지정된 구분자로 파싱
XML : XML 파싱

(Spring Batch 4.0, Spring Boot 2.0 기준 / 버전에 따라 지원에 차이가 있을 수 있음)

5. 주요 용어

5.1. Tasklet

Read, Process, Write 등 Step의 과정들을 직접 처리하고자 할 때 사용하는 방식
이러한 방식으로 동작하는 Step을 Tasklet Step이라고 한다.

5.2. Chunk

트랜잭션 내에서 처리할 Item의 단위(묶음)이다.
commit-interval 10이면 트랜댁션 내에서 10개 item 단위로 처리하고 커밋.
이러한 방식으로 동작하는 Step을 Chunk Step이라고 한다.

5.3. JobRepository

내부 인터페이스이다. 네임스페이스가 제공된다.

<batch:job-repository id="jobRepository" />

처리 중에 StepExecution 및 ExecutionContext를 주기적으로 저장한다.

5.4. Step

실질적인 배치 처리를 정의하고 제어하는데 필요한 모든 정보가 들어있는 객체이다.
즉 Job을 처리하는 실질적인 단위다. 모든 Job은 1개 이상의 Step이 있어야 한다.
DB의 트랜잭션 관리는 Step 단위로 수행된다. 따라서 각 Step 별로 개별적인 트랜잭션 설정이 가능하다.

6. 성능 개선

6.1. 성능

스프링 배치 파티션 기능을 통해 배치 병렬 처리 적용
탑 쿼리에 파티션 키 추가
단 병렬 처리하더라도 배치간에 데이터 불균형이 있으면 결국 가장 느린 배치가 처리시간을 좌우한다. 따라서 데이터가 균등하게 분배되어야 한다.
-> 대상 레코드 값 중 다양한 값을 가지고 있는 컬럼을 선택하여 해시 연산 후 별렬 수로 나눈 나머지 값으로 처리 배치를 할당 등

6.2. 처리 결과 건마다 DB 처리

배치 타입의 SqlSessionTemplate 적용하여 ooo건 단위로 집합 처리
개별 처리 시에 100,000건 처리 시 100,000건 디비 호출을 한다면, 100건 단위 집합 처리하면 1번 호출에 1,000건 데이터 처리.

6.3. 한번에 다량 처리

SqlSessionTemplated으로 다량건 처리하여 문제(OOM 등) 발생 가능
Cursor 방식인 MybatisCursorItemReader 사용 -> 자바 메모리에 무리를 주지 않게 함 (예: Fetch size = 100)
단 Fetch Size를 증가하여 성능 향상을 얻는 경우도 있다.

6.4. 캐시

배치는 동일 로직이 반복되는 경우가 많아 채번이나 공통 데이터를 캐시 적용할 수 있다.

6.5. 기동 지연

원인은 스프링 빈 수가 많아 이를 로딩하느라 기동 시간이 오래 걸리게 되는 것이다.
일반적으로는 스프링 빈을 찾는 범위를 줄여주는 것이 좋다.
1) 모든 빈을 스프링 배치 xml에 기술 : 단 공통 모듈에서 사용하는 모든 빈을 기술하면 공통 모듈의 수정으로 전체 배치가 오류가 발생할 수 있음
2) component-scan의 범위를 최대한 줄여서 설정 : 배치가 사용하는 빈들이 특정 패키지 하위에 있다는 전제 하에 사용하는 것으로 빈을 찾는 범위를 최대한 좁히는 것이 목적임

7. Spring Boot의 스프링 배치

spring.batch.initialize-schema=embedded
spring.batch.job.enabled=true
spring.batch.job.names=
spring.batch.table-prefix=