코딩마을방범대

백업 데이터를 이용한 복원은, 새로운 인스턴스를 생성할 때 만들었던 AMI를 이용해 생성해주면 된다. 인스턴스 백업 (AMI 생성) 1. 이미지 생성백업용 AMI를 생성해주려면, 인스턴스를 선택한 후 '작업-이미지 및 템플릿-이미지 생성'을 클릭해주면 된다.   2. 이미지 정보 설정아래와 같이 이름, 설명 등을 설정해주면 된다. 여기서 주의할 점은, 인스턴스 재부팅을 선택하지 않을 경우 실시간으로 변경되는 데이터를 반영하지 못할 수 있으므로데이터의 일관성을 위해 재부팅을 선택하는 것을 추천한다고 한다.          인스턴스 초기화 1. 루트 볼륨 대체 클릭초기화하고 싶은 인스턴스를 선택한 후 '작업-모니터링 및 문제 해결-루트 볼륨 대체'를 클릭한다.   2. 대체 작업 생성아래처럼 복원을 시작 상..

주키퍼는 카프카와 보편적으로 함께 사용되는 서비스이다.주키퍼와 카프카의 개념을 잘 모르겠다면 아래 포스트를 참고하면 된다.하지만, 주키퍼와 카프카를 같이 사용할 때 문제점들이 발생하면서, 이를 보완하기 위한 새로운 서비스가 등장하게 된다.  Zookeeper의 개념과 Kafka와의 상관관계KRaft, Kafka, Zookeeper는 모두 분산 시스템에서 메시지 큐잉과 데이터 관리를 위해 사용되는 기술이다.기본적으로 사용할 때 Kafka와 Zookeeper를 같이 사용하는데, KRaft 사용 시 Zookeeper를 사용하지 않아sweet-rain-kim.tistory.com       KRaft가 생긴 배경 Zookeeper 사용 시의 문제점1. 성능브로커는 모든 토픽과 파티션에 대 한 메타데이터를 주키퍼..

KRaft, Kafka, Zookeeper는 모두 분산 시스템에서 메시지 큐잉과 데이터 관리를 위해 사용되는 기술이다.기본적으로 사용할 때 Kafka와 Zookeeper를 같이 사용하는데, KRaft 사용 시 Zookeeper를 사용하지 않아도 된다고 한다.  Kafkakafka는 일전에 작성한 포스트를 참고하면 된다.간단히 말해서 고성능의 분산 메시징 시스템으로, 스트리밍 데이터를 처리하고 저장하는데 사용된다.메시지 브로커가 존재하여 토픽을 이용해 생산자(Producer)와 소비자(Consumer) 간의 메시지를 중개한다.  아파치 카프카(Apache Kafka)우선 메시지 큐와 관련된 용어들을 함께 알아본 뒤에 카프카에 대해 알아볼 것이다!   메시지 지향 미들웨어(MOM; Message Orient..

서버에 구축되어있는 SpringBoot 프로젝트는 logs 폴더에 날짜별로 로그 파일이 쌓인다.이 로그 파일들은 30일의 유효기간을 가지고 있고, 30일이 지나면 자동으로 삭제된다. ELK 구축 후 log 파일들을 자동으로 읽고 인덱스명이 날짜별로 생성되게 설정해두었다.하지만 실제 로그 파일에 설정된 유효기간은 설정되지 않아 인덱스만 무제한으로 생성되는 상황이다. 이럴 경우 인덱스에도 유효기간을 설정해두면 관리하기 조잡하지 않고 좋을 것 같다고 생각되어 인덱스에 유효기간을 설정할 수 있는 방법이 있는지 알아보게 되었다.         ILM(인덱스 생애 주기 관리, Index Lifecycle Management) 데이터의 수명 주기에 따라 인덱스를 생성, 관리, 삭제하는 정책을 정의할 수 있음  구성요..

ELK 기초 구축은 아래 포스트를 참고하면 된다.테스트 환경은 아래와 같다. A서버: ELK 구축B서버: 로그가 쌓임, Kafka를 이용해 로그를 C서버로 보냄C서버: Kafka 브로커  [ELK] 도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com           카프카에서는 분산 시스템을 이용하기 위해 Zookeeper 혹은 KRaft를 함께 사용한다.이전 버전에서는 Zooke..

Kafka가 무엇인지는 아래 포스트를 참고하면 된다. 아파치 카프카(Apache Kafka)우선 메시지 큐와 관련된 용어들을 함께 알아본 뒤에 카프카에 대해 알아볼 것이다!   메시지 지향 미들웨어(MOM; Message Oriented Middleware)응용 소프트웨어 간의 비동기적 데이터 통신을 위한 sweet-rain-kim.tistory.com         Kafka 세팅하기 1. Kafka 및 Zookeeper 다운로드 Index of /kafka/3.9.0 downloads.apache.org 목록이 쫘르륵 나오는데 여기서 현재 작성일 기준으로는 'kafka_2.13-3.9.0.tgz'를 다운로드 하면된다.2.13는 Scala 버전이며, 2.13 등이 써있지않고 kafka 버전만 적혀있는 ..

message는 text 타입이라서 별도 설정 없이는 사용이 불가하고, message.keyword를 추출하여 사용하게 된다. 가끔 message.keyword가 비어있는 경우가 있는데, 이럴 땐 혹시 데이터의 길이가 너무 긴지 확인할 필요가 있다.콘솔에서 아래 API를 실행하면 필드별 최대 글자수가 출력된다.GET 인덱스명/_mapping message.keyword 로 추출하려고 했는데 아무 데이터가 없는 경우는 최대로 설정되어 있는 256자를 넘었기 때문이다. 해결 방안으론 필드를 수정해주는 방법이 있는데, 기존 인덱스를 사용하진 못하고 새로 생성해줘야한다.         1. 새로운 탬플릿 생성하기 최대 글자수를 늘리는 방법은 탬플릿을 생성하는 것이다.kibana 사이트의 Index Managem..

도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com 위 포스트를 통해 ELK 구축 시 기본 타임스탬프로 설정되기 때문에, 로그를 읽어들인 시간으로 기록된다.이 때문에 따로 필드를 만들어줘야 하는 번거로움이 있다.아예 로그를 읽어들일 때 커스텀 timestamp를 기록하는 방법이 있는데, 이 방법은 로그의 한 줄 한 줄에 timstamp가 기록되어 있어야 가능하다.이 포스트에서는 주로..