[Spring] Spring Batch란? 기본 개념과 구조 알아보기

 

스프링 배치에 대해 살펴보기 전에, 배치 어플리케이션이 왜 필요할까? 를 생각해보자.

하루 전날 데이터를 집계해야 하는 상황에서 큰 데이터를 읽고, 가공하고, 저장하는 과정은 서버에 부담이 크다. 또 데이터를 집계하는 과정은 하루에 한 번, 주기적으로 수행된다. 이러한 큰 데이터를 처리하기 위한 전용 API를 만드는 것은 비효율적이다.

컴퓨팅 자원을 크게 소모시키며 다른 요청들을 처리하지 못하고, 데이터가 방대해서 처리 중에 실패할 경우가 발생할 수 있다.

 

=> 배치 어플리케이션이 이럴 때 필요하다.

 

 

Spring Batch란?

• 배치 처리(=일괄 처리)는 사용자와 상호 작용 없이 컴퓨터가 특정 시간에 주기적으로 대량의 데이터를 일괄적으로 처리하는 방식이다. 
• 스프링 배치는, 대용량 데이터를 처리하기 위한 스프링 프레임워크이다.
• 대용량의 비즈니스 데이터를 복잡한 작업으로 처리해야하는 경우, 특정한 시점에 스케줄러를 통해 자동화된 작업이 필요한 경우, 대용량 데이터의 포맷을 변경, 유효성 검사 등의 작업을 트랜잭션 안에서 처리 후 기록해야하는 경우 등에서 스프링 배치를 사용한다.
• 정해진 시간에 구독자들에게 규칙적으로 메일을 보내는 경우, 주기적인 데이터 백업을 진행하는 경우 등이 예시가 될 수 있다.

 

Spring Batch의 기능

기본적으로 DI, AOP, 서비스 추상화 등 Spring 프레임워크의 3대 요소를 모두 사용 가능하다. 뿐만아니라

• 로깅 및 추적
• 트랜잭션 관리
• 작업 처리 통계
• 작업 재시작
• 건너뛰기
• 리소스 관리

등의 다양한 기능을 지원한다.

 

단 스프링 배치는 배치 작업을 관리하지만, 이 작업을 구동하거나 실행시키는 기능은 지원하지 않는다. 스프링에서 배치 작업을 실행시키려면 Quartz, Scheduler, Jenkins 등 전용 스케줄러를 사용해야 한다.

 

 

Batch와 Scheduler의 차이

배치(Batch)는 일련의 데이터를 그룹화하여 일괄 처리하는 방법을 의미한다. => Spring Batch로 수행
반면에 스케줄러(Scheduler)는 특정한 시간에 등록한 작업을 자동으로 실행할 수 있게 해주는 도구나 소프트웨어를 의미한다. => Spring Scheduler, Quartz 등으로 수행

배치는 대량의 데이터를 일괄적으로 처리할 뿐, 스케줄링과는 관련이 없다.
Spring Batch는 Job을 관리해주지만 Job을 구동하거나 실행시키는 기능을 지원하고 있지 않다. 그래서 스프링 배치는 케줄러와 함께 사용할 수 있도록 설계되어 있을 뿐 스케줄러 자체를 대체하는 것은 아니다.

 

 

 

Spring Batch의 장점

• 유지보수성
  ➜ 테스트 용이, 추상화, 풍부한 API
  ➜ 트랜잭션 및 커밋 횟수와 같은 것들을 애플리케이션에 제공하므로, 유지 보수에 유용하다.
• 유연성
  ➜ JVM을 이용한 이식성
  ➜ 시스템 간 코드 공유 능력 (POJO 재활용 등 )
• 확장성
  ➜ 스프링 배치는 단일 처리 / 병렬 처리 등이 모두 가능
• 개발 리소스, 지원
  ➜ 자바, 스프링 프레임워크를 기반
  ➜ 커뮤니티의 지원
• 비용
  ➜ 오픈 소스

작은 규모의 서비스의 데이터를 처리할 때는 스케줄링만 활용해서 비즈니스 코드를 처리해도 문제가 없지만,

기업 급의 큰 규모의 서비스 규모에서는 배치 처리가 필요하다.

작은 규모의 서비스도 확장성을 고려한다면, 스프링 배치를 적용해볼 수 있다.

 

 

스프링 배치 어플리케이션의 조건

• 대용량 데이터 처리
  ➜ 대용량의 데이터를 가져오거나 전달, 계산하는 등의 처리가 가능해야 한다.
• 자동화
  ➜ 하드웨어 적인 심각한 문제를 제외하고는 사용자의 개입이 없이 실행되어야 한다.
• 견고성
  ➜ 잘못된 데이터를 충돌/중단 없이 처리할 수 있어야 한다.
• 신뢰성
  ➜ 무엇이 잘못되었는지를 추적할 수 있어야 한다. (로깅/알람)
• 성능
  ➜ 지정한 시간 안에 처리를 완료하거나 동시에 실행되는 다른 애플리케이션을 방해하지 않도록 수행되어야 한다.
• 실패 복구
• ➜ 처리 중에 실패가 발생하면, 실패 지점부터 재시작 할 수 있는 기능을 제공한다.

 

 

스프링 배치의 계층 구조

• Application
  ➜ Spring Batch를 사용하여 개발자가 작성한 모든 배치 작업과 사용자 정의 코드
• Batch Core
  ➜ 배치 작업을 시작하고 제어하는 데 필요한 핵심 런타임 클래스를 포함
• Batch Infrastructure
  ➜ 개발자와 애플리케이션에서 사용하는 일반적인 Reader와 Writer, RetryTemplate과 같은 서비스를 포함

비즈니스 로직은 Application 계층에서, 배치의 동과 관련된 것은 Batch Core에 있는 클래스들을 이용해서 비즈니스 로직과 배치의 동작을 구분하여 제어할 수 있다.

 

 

스프링 배치 아키텍처와 함께 기본 개념 살펴보기

1) Job

• Job은 쉽게 말해서 하나의 일이다. 배치처리 과정을 하나의 단위로 만들어 놓은 객체라고 볼 수 있다.
• JobInstance는 Job의 실행의 단위를 나타낸다. Job을 실행시키게 되면 하나의 JobInstance가 생성된다. Job을 어제 실행, 오늘 실행했다고 하면 별도의 JobInstance가 생성되며 어제 실행한 JobInstance가 실패하여 다시 실행해도 이 JobInstance는 어제의 데이터만 처리한다.
• JobParameters는 JobInstacne에 전달되는 매개변수이며 JobInstance를 구분하는 역할도 한다. String, Double, Long, Date 4가지 형식만을 지원한다.
  • ex) JobInstance를 생성할 때 JobParameter를 통해 시작 시간, 데이터를 읽을 범위들을 지정할 수 있다.
• JobExecution은 JobInstance에 대한 실행 시도에 대한 객체이다. 어제 실행한 JobInstacne가 실패하여 재실행을 하여도 동일한 JobInstance를 실행시키지만 JobExecution은 개별로 생성된다. JobExecution는 JobInstance 실행에 대한 상태,시작시간, 종료시간, 생성시간 등의 정보를 담고 있다.

 

2) JobLauncher

Job을 실행하기 위한 인터페이스이다(Job.execute을 호출). JobLauncher는 사용자가 직접 사용할 수도 있지만 Java의 CommandLineJobRunner로 간단하게 배치 처리를 할 수도 있다.

 

3) Step

• 하나의 작업은 여러 단계를 가질 수 있다. Step이 이러한 역할이며, Job을 구성하는 독립된 처리 단위이다.
• Step은 Job의 배치처리를 정의하고 순차적인 단계를 캡슐화한다. Job은 최소한 1개 이상의 Step을 가져야 하며 Job의 실제 일괄 처리를 제어하는 모든 정보가 들어있다.
• StepExecution은 Step이 시작됐을 때 생성되는 객체이다. Job이 여러 개의 Step으로 구성되어 있을 때 이전 단계의 Step이 실패하면 이후의 StepExecution은 생성되지 않는다. 
  
  

4) ItemReader / ItemProcessor/ ItemWriter 

• ItemReader는 Step에서 Item을 읽어오는 인터페이스이다. ItemReader에 대한다양한 인터페이스가 존재한다.
• ItemProcessor는 Reader에서 읽어온 Item의 데이터를 가공/처리하는 역할을 한다. 배치 처리에 필수적인 요소는 아니다.
• ItemWriter는 프로세서로 처리된 Data를 데이터베이스에 저장하는 역할을 한다. (insert, update, send 등) 마찬가지로 다양한 인터페이스가 존재한다.

 

5) JobRepository

Job 및 Step의 상태를 관리하는 시스템이다. 데이터베이스에 위와 같은 배치 처리 정보가 저장된다.

Job이 실행되면 JobRepository에 JobExcecution과 StepExecution을 생성하며 잡 레포지토리에서 이러한 Job과 Step에 대한 정보들을 저장하고 조회하며 사용한다.

 

6) ExecutionContext

Job에서 데이터를 공유할 수 있는 데이터 저장소이다. Spring Batch에서 제공하는 ExecutionContext는 JobExecutionContext, StepExecutionContext의 2가지 종류가 있다. Step간 Data를 공유할 수 있게 하며, Job 실패 시 ExecutionContext를 통해 마지막 실행 값을 재구성할 수 있다.

• JobExecutionContext - Commit 시점에 저장
• StepExecutionContext - 실행 사이에 저장

스프링 배치의 전체 프로세스 흐름

 

 

Spring Batch의 메타 데이터

메타 데이터란?
데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해주는 데이터이다. 

 

스프링 배치는 배치 작업의 상태를 관리하기 위해 메타 데이터를 저장하는 6개의 테이블을 DB에 자동으로 생성한다.

배치 작업을 수행할 때 자동으로 생성된 테이블들의 컬럼 값이 채워진다.

메타 데이터를 통해 과거, 현재의 실행에 대한 정보와 성공/ 실패 여부를 관리하여 리스크 발생 시 빠른 대처가 가능하다.

 

• BATCH_JOB_INSTANCE - Job의 생성 정보
  • (버전 정보, Job 이름, 고유 키)
• BATCH_JOB_EXECUTION - Job의 실행 정보
  • (버전 정보, 생성 시간, 시작시간, 종료 시간, 실행 시간, 최종 업데이트 시간 등)
• BATCH_JOB_EXECUTION_PARAM - Job에 사용되는 파라미터값들
• BATCH_JOB_EXECUTION_CONTEXT - 작업 중 사용되는 모든 정보(context)가 기록됨.
• BATCH_STEP_EXECUTION - Step의 실행 정보
  • (버전 정보, 시작 시간, 종료 시간, 실행 상태, 최종 업데이트 시간, 조회/필터링/저장한 item 수, 롤백 발생횟수 등..)
• BATCH_STEP_EXECUTIOIN_CONTEXT - Step에서 사용되는 모든 정보(Context)가 기록됨.

위에서 아래로 내려가는 순서로 데이터가 적재된다.

 

 

여기까지는 스프링 배치에 대한 개념적인 부분이고, 시험이... 끝난 다음에 간단한 실습도 진행해봐야지..!!

인프런에 강의도 있던데 45시간이라서 염두가 안 난다..🥲

 

 

참고 문헌 및 참고 시 좋을 링크

[Java] Spring Batch를 통한 대용량 데이터 안전하게 처리하기

배치와 스케줄러의 차이

Spring Batch란? 이해하고 사용하기(예제소스 포함)

[Java] Spring Boot - 스프링 배치(Spring Batch) 사용법

스프링 배치(Spring batch)란?

[Spring] 스프링배치 완벽가이드(1) - 배치와 스프링

Spring Batch란? 간단한 개념과 코드 살펴보기