중복처리 썸네일형 리스트형 Kafka - 트러블 슈팅 (특정 컨슈머에서 메세지가 중복으로 처리된다...?) 상황카프카로 데이터가 들어오면 ETL 과정을 거쳐서 Elastic Search로 전달하는 파이프 라인을 구축하고 있었다. 기본적인 구조를 설계하고 테스트를 해보는데... 처리량이 많아지면 특정 토픽에서 컨슈머가 메시지를 중복으로 처리하는 문제가 생김 ETL 1 과정이 처리시간이 제법 걸리는 일이라 worker를 여러개 띄워서 병렬로 처리함. ETL 1 과정이 끝나면 다시 Topic2로 프로듀싱하고 ETL 2 가 처리하고 ELS에 업로드하는 구조임.문제Topic 1으로 데이터가 1000건 정도 들어오면 문제가 발생했다. ETL 1이 잘 처리되다 끝날때 쯤 메시지를 중복으로 처리하게 되는 문제가 있었다. 해결..?처음 카프카를 구조를 설계할 때 부터. 메시지 전달 시멘틱(message delivery se.. 더보기 이전 1 다음
