코딩마을방범대

백업 데이터를 이용한 복원은, 새로운 인스턴스를 생성할 때 만들었던 AMI를 이용해 생성해주면 된다. 인스턴스 백업 (AMI 생성) 1. 이미지 생성백업용 AMI를 생성해주려면, 인스턴스를 선택한 후 '작업-이미지 및 템플릿-이미지 생성'을 클릭해주면 된다.   2. 이미지 정보 설정아래와 같이 이름, 설명 등을 설정해주면 된다. 여기서 주의할 점은, 인스턴스 재부팅을 선택하지 않을 경우 실시간으로 변경되는 데이터를 반영하지 못할 수 있으므로데이터의 일관성을 위해 재부팅을 선택하는 것을 추천한다고 한다.          인스턴스 초기화 1. 루트 볼륨 대체 클릭초기화하고 싶은 인스턴스를 선택한 후 '작업-모니터링 및 문제 해결-루트 볼륨 대체'를 클릭한다.   2. 대체 작업 생성아래처럼 복원을 시작 상..

서버에 구축되어있는 SpringBoot 프로젝트는 logs 폴더에 날짜별로 로그 파일이 쌓인다.이 로그 파일들은 30일의 유효기간을 가지고 있고, 30일이 지나면 자동으로 삭제된다. ELK 구축 후 log 파일들을 자동으로 읽고 인덱스명이 날짜별로 생성되게 설정해두었다.하지만 실제 로그 파일에 설정된 유효기간은 설정되지 않아 인덱스만 무제한으로 생성되는 상황이다. 이럴 경우 인덱스에도 유효기간을 설정해두면 관리하기 조잡하지 않고 좋을 것 같다고 생각되어 인덱스에 유효기간을 설정할 수 있는 방법이 있는지 알아보게 되었다.         ILM(인덱스 생애 주기 관리, Index Lifecycle Management) 데이터의 수명 주기에 따라 인덱스를 생성, 관리, 삭제하는 정책을 정의할 수 있음  구성요..

ELK 기초 구축은 아래 포스트를 참고하면 된다.테스트 환경은 아래와 같다. A서버: ELK 구축B서버: 로그가 쌓임, Kafka를 이용해 로그를 C서버로 보냄C서버: Kafka 브로커  [ELK] 도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com           카프카에서는 분산 시스템을 이용하기 위해 Zookeeper 혹은 KRaft를 함께 사용한다.이전 버전에서는 Zooke..

Kafka가 무엇인지는 아래 포스트를 참고하면 된다. 아파치 카프카(Apache Kafka)우선 메시지 큐와 관련된 용어들을 함께 알아본 뒤에 카프카에 대해 알아볼 것이다!   메시지 지향 미들웨어(MOM; Message Oriented Middleware)응용 소프트웨어 간의 비동기적 데이터 통신을 위한 sweet-rain-kim.tistory.com         Kafka 세팅하기 1. Kafka 및 Zookeeper 다운로드 Index of /kafka/3.9.0 downloads.apache.org 목록이 쫘르륵 나오는데 여기서 현재 작성일 기준으로는 'kafka_2.13-3.9.0.tgz'를 다운로드 하면된다.2.13는 Scala 버전이며, 2.13 등이 써있지않고 kafka 버전만 적혀있는 ..

message는 text 타입이라서 별도 설정 없이는 사용이 불가하고, message.keyword를 추출하여 사용하게 된다. 가끔 message.keyword가 비어있는 경우가 있는데, 이럴 땐 혹시 데이터의 길이가 너무 긴지 확인할 필요가 있다.콘솔에서 아래 API를 실행하면 필드별 최대 글자수가 출력된다.GET 인덱스명/_mapping message.keyword 로 추출하려고 했는데 아무 데이터가 없는 경우는 최대로 설정되어 있는 256자를 넘었기 때문이다. 해결 방안으론 필드를 수정해주는 방법이 있는데, 기존 인덱스를 사용하진 못하고 새로 생성해줘야한다.         1. 새로운 탬플릿 생성하기 최대 글자수를 늘리는 방법은 탬플릿을 생성하는 것이다.kibana 사이트의 Index Managem..

도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com 위 포스트를 통해 ELK 구축 시 기본 타임스탬프로 설정되기 때문에, 로그를 읽어들인 시간으로 기록된다.이 때문에 따로 필드를 만들어줘야 하는 번거로움이 있다.아예 로그를 읽어들일 때 커스텀 timestamp를 기록하는 방법이 있는데, 이 방법은 로그의 한 줄 한 줄에 timstamp가 기록되어 있어야 가능하다.이 포스트에서는 주로..

도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com ELK를 구축하고 시각화를 진행할 때 필요한 View 생성과 필드 생성을 진행해볼 것이다.시각화를 진행하려면 Data View가 꼭 필요한데, 일단 ELK 구축 완료 후 Kibana 사이트에 접속 가능하다는 가정 하에 진행할 것이다.(만약 ELK 구축 전이라면 위 포스트를 참고하면 된다.)           데이터 뷰 생성하기 Ki..

도커를 통해 ELK 구축하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com 위 포스트를 통해 A서버에 ELK가 구축되어 있다는 가정 하에, B서버의 로그를 A서버로 보내는 방법을 알아볼 것이다. 초기 환경A서버: ELK 구축되어 있음B서버: A서버로 보낼 log가 쌓임.          Ⅰ. B서버에 ELK를 별도로 구축하는 방법※ 이 방법은 서버 별로 필터를 별도로 설정하고싶은 경우 추천한다. 1. 서버 B에 Elasticsearch, Log..