[Kafka] 용어 알아가기

Kafka 주요 용어

---

 

1. Topic : 메세지의 구분 단위

+ partition : topic을 나누는 단위

+ offset : 메세지의 상대적 위치

 

 

2. Producer : 메세지 생산자

    Consumer : 메세지 소비자

- Producer는 Topic을 발행한다.

- Consumer는 Topic을 구독한다.

 

 

3. Consumer group : Consumer들의 묶음

- 한 partition은 한 consumer와 반드시 매칭이 되어야 한다.

- 따라서, partition을 늘릴 때 consumer 개수도 고려해야 한다.

   >> 보통, 1:1 매칭으로 설정 (partition = consumer)

   >> consumer의 메세지 읽기 속도보다 처리 속도가 빠르다면, partition을 더 늘림 (partition > consumer)

case1) partiton 3 :consumer 2 = consumer 중에 하나는 2개의 파티션을 소비
case2) partiton 3: consumer 3 = consumer 1개랑 파티션1나랑 1:1매칭
case3) partiton 3: consumer 4 = consumer 1개가 아무것도 하지 않음

 

 

4. Broker : Kafka 서버

+ zookeeper와 셋투셋투 : broker는 한 컴퓨터 당 여러 개 생성이 가능하므로, 여러 kafka 서버 정보를 관리하는 zookeeper가 필수!

 

- 1~4번 참고 : https://medium.com/@umanking/%EC%B9%B4%ED%94%84%EC%B9%B4%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0-%ED%95%98%EA%B8%B0%EC%A0%84%EC%97%90-%EB%A8%BC%EC%A0%80-data%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0%ED%95%B4%EB%B3%B4%EC%9E%90-d2e3ca2f3c2

Kafka 이해하기

 

5. Topic Replication : Topic을 공유할 broker의 개수

+ leader와 follower

+ ISR(In Sync Replica)

 

- 5번 참고 : https://www.popit.kr/kafka-%EC%9A%B4%EC%98%81%EC%9E%90%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-topic-replication/

Kafka 운영자가 말하는 Topic Replication | Popit