본문 바로가기

💻 개발 이야기/Apache Kafka2

[Kafka] 프로듀서의 내부 구조와 최적화 전략 안녕하세요. 이번 글에서는 카프카 프로듀서의 내부 구조와 최적화 전략에 대해 알아보겠습니다. 실제 카프카 클라이언트 코드도 어떻게 구현되어 있는지 함께 살펴봅시다. [ 들어가기 전에 ] 아래에서 다루는 내용은 Apache Kafka Java Client에 대한 내용입니다. 언어별 Client에 따라 구현 내용 혹은 동작 방식이 다를 수 있습니다. 공식적으로는 Java만 지원하며, Confluent에서 관리하는 librdkafka 라이브러리를 사용하면 C/C++, Go, .NET, Python도 사용 가능한 것으로 보입니다. 그리고 Apache Kafka는 버전이 변경됨에 따라 Default 값, 내부 동작 방식 등 꾸준히 개선되고 변화하고 있습니다. 작성일 기준에 맞춰 작성됐다는 점을 참고해 주세요. 이.. 2024. 4. 6.
[Kafka] 넓고 얕게 카프카를 이해해보자 안녕하세요! 다소 난해하고 복잡해 보이는 카프카에 대해서 넓고 얕게 알아보겠습니다. 00 | 이 글에서 얻을 수 있는 것 카프카 시스템을 구성하는 요소를 중고 거래 시스템에 빗대어 이해할 수 있다. 카프카 토픽과 파티션의 상관관계에 대해 이해할 수 있다. ISR 상태에 대해 이해할 수 있다. 카프카에 대해 아는 척할 수 있다. 01 | 카프카 구성 요소 아파치 카프카(Apache Kafka)는 실시간 스트리밍 데이터 파이프라인을 구축하는... 와 같은 어려운 정의는 구글 어디에서나 찾아볼 수 있습니다. 카프카는 메시지를 누군가에게 전달하는 시스템이라고 이해하시면 됩니다. 비유를 들어서 조금 더 쉽게 풀어보겠습니다. 만약 제가 당근마켓에서 중고 맥북을 구매하려 한다고 가정합시다. 우선 판매자는 맥북을 박스.. 2024. 2. 24.