Lewis's Tech Keep

진행 범위 3.5 카프카 스트림즈 카프카를 사용하는 다른 팀 발표 사례 소개 우아한 형제들 https://www.youtube.com/watch?v=DY3sUeGu74M https://www.youtube.com/watch?v=YACC1t_oSlA 카카오 https://www.youtube.com/watch?v=7_VdIFH6M6Q 3.5 카프카 스트림즈 스트림즈 애플리케이션 토픽에 적재된 데이터를 상태기반 또는 비상태기반으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리 공식 지원 라이브러리 ⇒ 카프카 클러스터와 완벽하게 호환되면서 스트림 처리에 필요한 편리 기능 제공함 정확히 한번(exactly once) 할 수 있도록 장애 허용 시스템(fault tolerant system)을 가지고 있어 데이터..

카프카의 탄생 파편화된 데이터 수집 및 분배 아키텍처 운영을 위해 탄생함 기존 카프카 도입 이전 데이터를 생성하고 적재하기 위해 데이터를 생성하는 소스 애플리케이션과 데이터가 최종 적재되는 타깃 애플리케이션을 연결해야 함 아키텍처가 거대해짐 -> 소스 애플리케이션과 타깃 애플리케이션 개수가 점점 많아짐, 데이터를 전송하는 라인이 기하급수적으로 복잡해지기 시작함 파이프라인 개수가 많아지면서 소스코드 및 버전 관리에서 이슈가 생김 타깃 애플리케이션 장애 -> 소스 애플리케이션으로 바로 전달됨 기존에 링크드인은 오픈소스와 ETL 툴을 적용해 변경하려고 노력했지만 해결은 못함 기존 카프카 도입 이후 각각 애플리케이션끼리 연결해 데이터 처리하지 않고 한 곳에 모아 처리하도록 중앙집중화함 소스 애플리케이션과 타깃 ..