Spring/Batch

[Spring Boot Batch] 오류: "Failed to configure a DataSource: ‘url’ attribute is not...". 오류해결

spring: config: activate: on-profile: mysql datasource: hikari: driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/springBatch?useUnicode=true&character_set_server=utf8; username: kimhee password: sn8657sn batch: jdbc: initialize-schema: always 내 경우에 application.yml에 db관련 설정 후, 실행 시 url 설정이 잘못되었다는 오류가 자꾸났다. 퍼온 이미지이지만 똑같은 오류였음. application.yml 파일에 아래와 같이 jdbc driver 관련..

spring batch 개요 및 아키텍처

0. 개발환경 - JDK 1.8 이상 - SpringBoot 2.5.1 - DB - H2, Mysql - IDE - Intellij or STS - Maven 2.배치 핵심패턴 - read : 데이터베이스, 파일, 큐에서 다량의 데이터 조회 - process : 특정 방법으로 데이터를 가공 - write : 데이터를 수정된 양식으로 다시 저장. 3. 배치시나리오 - 배치 프로세스를 주기적으로 커밋 - 동시 다발적이 ㄴjob의 배치 처리, 대용량 병렬 처리 - 실패 후 수동 또는 스케줄링에 의한 재시작 - 의존관계가 있는 step 여러개를 순차적으로 처리 - 조건적 flow 구성을 통한 체계적이고 유연한 배치 모델 구성 - 반복, 재시도(잠깐동안의 장애로 인한 실패시 재시도), skip 처리 4. 아키텍처..

spring batch의 핵심 10가지

spring batch의 핵심 10가지 1. 왜 spring batch를 사용하는가? 2. 멱등성은 어떻게 유지하는가? 3. spring batch 메타데이터 테이블의 종류는 뭐가 있는가? 4. 배치 중간 실패 시 어떻게 처리하는가? - > skip, retry 기능 제공. 5. spring batch multi thread vs partitioning 의 차이 정해진 시간안에 처리해야하는 데이터가 많을 경우 성능을 높이기 위해 partitioning을 사용. 6. spring batch에서 왜 트랜잭션관리를 왜 chunk 단위로 하는지. (청크기반에 개념을 정리해보기) 7. tasklet vs item(Reader, Processor, Writer) 의 차이점. 8. Cursor 기반 vs Paging..

[Job parameter] 오류 _ Step already complete or not restartable, so no action to execute : All steps already completed or no steps configured for this job.

job parameter를 넣고 job을 실행했을 때 , 파라미터값이 달라도 step_execution_id 가 같은 게 참조되고 complited 되어있으니 step을 실행시키지 않는다는 오류가 발생했다. // All steps already completed or no steps configured for this job. Step already complete or not restartable, so no action to execute: StepExecution: id=4, version=3, name=helloStep2, status=COMPLETED, exitStatus=COMPLETED, readCount=0, filterCount=0, writeCount=0 readSkipCount=0, ..

[spring batch] job parameter 공백(space) 포함하는 경우.

https://stackoverflow.com/questions/43276454/passing-argument-with-spaces-to-spring-batch-commandlinejobrunner Passing argument with spaces to Spring batch CommandLineJobRunner In configuring the spring batch jobs, I have a need to pass argument to CommandLineJobRunner which have spaces. For example : java -cp "../../myproject.jar" org.springframework.batch.core.launch. stackoverflow.com 잘못된 예제_..