KAFKA3 [Kafka] 프로듀서의 내부 구조와 최적화 전략 안녕하세요. 이번 글에서는 카프카 프로듀서의 내부 구조와 최적화 전략에 대해 알아보겠습니다. 실제 카프카 클라이언트 코드도 어떻게 구현되어 있는지 함께 살펴봅시다. [ 들어가기 전에 ] 아래에서 다루는 내용은 Apache Kafka Java Client에 대한 내용입니다. 언어별 Client에 따라 구현 내용 혹은 동작 방식이 다를 수 있습니다. 공식적으로는 Java만 지원하며, Confluent에서 관리하는 librdkafka 라이브러리를 사용하면 C/C++, Go, .NET, Python도 사용 가능한 것으로 보입니다. 그리고 Apache Kafka는 버전이 변경됨에 따라 Default 값, 내부 동작 방식 등 꾸준히 개선되고 변화하고 있습니다. 작성일 기준에 맞춰 작성됐다는 점을 참고해 주세요. 이.. 2024. 4. 6. [Kafka] 넓고 얕게 카프카를 이해해보자 안녕하세요! 다소 난해하고 복잡해 보이는 카프카에 대해서 넓고 얕게 알아보겠습니다. 00 | 이 글에서 얻을 수 있는 것 카프카 시스템을 구성하는 요소를 중고 거래 시스템에 빗대어 이해할 수 있다. 카프카 토픽과 파티션의 상관관계에 대해 이해할 수 있다. ISR 상태에 대해 이해할 수 있다. 카프카에 대해 아는 척할 수 있다. 01 | 카프카 구성 요소 아파치 카프카(Apache Kafka)는 실시간 스트리밍 데이터 파이프라인을 구축하는... 와 같은 어려운 정의는 구글 어디에서나 찾아볼 수 있습니다. 카프카는 메시지를 누군가에게 전달하는 시스템이라고 이해하시면 됩니다. 비유를 들어서 조금 더 쉽게 풀어보겠습니다. 만약 제가 당근마켓에서 중고 맥북을 구매하려 한다고 가정합시다. 우선 판매자는 맥북을 박스.. 2024. 2. 24. [후기] Kafka 한국 사용자 모임 밋업 후기 (23.08.09) 안녕하세요. 황진성입니다. 오늘 Kafka 한국 사용자 모임 밋업에 다녀온 후기를 작성하고 약간의 잡담을 해보겠습니다. 약간의 텍스트 기록과 제 기억으로 작성된 포스트이기 때문에 실제 발표 순서+내용과 다를 수 있습니다. + 2023.08.16 추가 | 발표자료는 여기에서 볼 수 있습니다! 1부: 1000만 회원, MAU 500만을 위한 빅데이터 아키텍처 무신사에서 데이터 엔지니어로 재직 중이신 유환성 님이 발표해 주셨습니다. 내용 정리 발표자님이 입사했던 4년 전, 무신사는 직원이 250명쯤이었다. 최근에는 1400명까지 늘었는데, 구성원뿐만 아니라 무신사 유저도 많이 늘고 거래량도 많이 늘었다. 그 과정에서 데이터 아키텍처 구조 개선이 필요한 순간들이 있었다. 어떤 해결하고자 하는 문제가 발생했을 때.. 2023. 8. 10. 이전 1 다음
