코딩마을방범대

주키퍼는 카프카와 보편적으로 함께 사용되는 서비스이다.주키퍼와 카프카의 개념을 잘 모르겠다면 아래 포스트를 참고하면 된다.하지만, 주키퍼와 카프카를 같이 사용할 때 문제점들이 발생하면서, 이를 보완하기 위한 새로운 서비스가 등장하게 된다.  Zookeeper의 개념과 Kafka와의 상관관계KRaft, Kafka, Zookeeper는 모두 분산 시스템에서 메시지 큐잉과 데이터 관리를 위해 사용되는 기술이다.기본적으로 사용할 때 Kafka와 Zookeeper를 같이 사용하는데, KRaft 사용 시 Zookeeper를 사용하지 않아sweet-rain-kim.tistory.com       KRaft가 생긴 배경 Zookeeper 사용 시의 문제점1. 성능브로커는 모든 토픽과 파티션에 대 한 메타데이터를 주키퍼..

KRaft, Kafka, Zookeeper는 모두 분산 시스템에서 메시지 큐잉과 데이터 관리를 위해 사용되는 기술이다.기본적으로 사용할 때 Kafka와 Zookeeper를 같이 사용하는데, KRaft 사용 시 Zookeeper를 사용하지 않아도 된다고 한다.  Kafkakafka는 일전에 작성한 포스트를 참고하면 된다.간단히 말해서 고성능의 분산 메시징 시스템으로, 스트리밍 데이터를 처리하고 저장하는데 사용된다.메시지 브로커가 존재하여 토픽을 이용해 생산자(Producer)와 소비자(Consumer) 간의 메시지를 중개한다.  아파치 카프카(Apache Kafka)우선 메시지 큐와 관련된 용어들을 함께 알아본 뒤에 카프카에 대해 알아볼 것이다!   메시지 지향 미들웨어(MOM; Message Orient..

ELK 기초 구축은 아래 포스트를 참고하면 된다.테스트 환경은 아래와 같다. A서버: ELK 구축B서버: 로그가 쌓임, Kafka를 이용해 로그를 C서버로 보냄C서버: Kafka 브로커  [ELK] 도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com           카프카에서는 분산 시스템을 이용하기 위해 Zookeeper 혹은 KRaft를 함께 사용한다.이전 버전에서는 Zooke..

Kafka가 무엇인지는 아래 포스트를 참고하면 된다. 아파치 카프카(Apache Kafka)우선 메시지 큐와 관련된 용어들을 함께 알아본 뒤에 카프카에 대해 알아볼 것이다!   메시지 지향 미들웨어(MOM; Message Oriented Middleware)응용 소프트웨어 간의 비동기적 데이터 통신을 위한 sweet-rain-kim.tistory.com         Kafka 세팅하기 1. Kafka 및 Zookeeper 다운로드 Index of /kafka/3.9.0 downloads.apache.org 목록이 쫘르륵 나오는데 여기서 현재 작성일 기준으로는 'kafka_2.13-3.9.0.tgz'를 다운로드 하면된다.2.13는 Scala 버전이며, 2.13 등이 써있지않고 kafka 버전만 적혀있는 ..