본문 바로가기

카프카

Kafka - 트러블 슈팅 (특정 컨슈머에서 메세지가 중복으로 처리된다...?) 상황카프카로 데이터가 들어오면 ETL 과정을 거쳐서 Elastic Search로 전달하는 파이프 라인을 구축하고 있었다. 기본적인 구조를 설계하고 테스트를 해보는데... 처리량이 많아지면 특정 토픽에서 컨슈머가 메시지를 중복으로 처리하는 문제가 생김 ETL 1 과정이 처리시간이 제법 걸리는 일이라 worker를 여러개 띄워서 병렬로 처리함. ETL 1 과정이 끝나면 다시 Topic2로 프로듀싱하고 ETL 2 가 처리하고 ELS에 업로드하는 구조임.문제Topic 1으로 데이터가 1000건 정도 들어오면 문제가 발생했다. ETL 1이 잘 처리되다 끝날때 쯤 메시지를 중복으로 처리하게 되는 문제가 있었다.  해결..?처음 카프카를 구조를 설계할 때 부터. 메시지 전달 시멘틱(message delivery se.. 더보기
Kafka - 기초적인 내용 및 실습하기 카프카를 간단하게 정리해보고 실습해보려고 한다. - 카프카란? Fortune 100대 기업 중 80% 이상이 Kafka를 신뢰하고 사용하고 있습니다. Apache Kafka는 수천 개의 회사에서 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 ​​및 미션 크리티컬 애플리케이션을 위해 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다. Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 카프카 공식 홈페이지에 나온 카프카 설명이다. 요약하자면 카프카는 분산 이벤트 스트리밍 플랫폼이다. - 이벤트 스트리밍이란? 데이터베이스, 센서, 모바일 장치, 클라우드 서비스 및 소프트웨어 애플리케이션과 같은 이벤트 소스에서.. 더보기

티스토리툴바