코딩마을방범대

서버에 구축되어있는 SpringBoot 프로젝트는 logs 폴더에 날짜별로 로그 파일이 쌓인다.이 로그 파일들은 30일의 유효기간을 가지고 있고, 30일이 지나면 자동으로 삭제된다. ELK 구축 후 log 파일들을 자동으로 읽고 인덱스명이 날짜별로 생성되게 설정해두었다.하지만 실제 로그 파일에 설정된 유효기간은 설정되지 않아 인덱스만 무제한으로 생성되는 상황이다. 이럴 경우 인덱스에도 유효기간을 설정해두면 관리하기 조잡하지 않고 좋을 것 같다고 생각되어 인덱스에 유효기간을 설정할 수 있는 방법이 있는지 알아보게 되었다.         ILM(인덱스 생애 주기 관리, Index Lifecycle Management) 데이터의 수명 주기에 따라 인덱스를 생성, 관리, 삭제하는 정책을 정의할 수 있음  구성요..

ELK 기초 구축은 아래 포스트를 참고하면 된다.테스트 환경은 아래와 같다. A서버: ELK 구축B서버: 로그가 쌓임, Kafka를 이용해 로그를 C서버로 보냄C서버: Kafka 브로커  [ELK] 도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com           카프카에서는 분산 시스템을 이용하기 위해 Zookeeper 혹은 KRaft를 함께 사용한다.이전 버전에서는 Zooke..

message는 text 타입이라서 별도 설정 없이는 사용이 불가하고, message.keyword를 추출하여 사용하게 된다. 가끔 message.keyword가 비어있는 경우가 있는데, 이럴 땐 혹시 데이터의 길이가 너무 긴지 확인할 필요가 있다.콘솔에서 아래 API를 실행하면 필드별 최대 글자수가 출력된다.GET 인덱스명/_mapping message.keyword 로 추출하려고 했는데 아무 데이터가 없는 경우는 최대로 설정되어 있는 256자를 넘었기 때문이다. 해결 방안으론 필드를 수정해주는 방법이 있는데, 기존 인덱스를 사용하진 못하고 새로 생성해줘야한다.         1. 새로운 탬플릿 생성하기 최대 글자수를 늘리는 방법은 탬플릿을 생성하는 것이다.kibana 사이트의 Index Managem..

도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com 위 포스트를 통해 ELK 구축 시 기본 타임스탬프로 설정되기 때문에, 로그를 읽어들인 시간으로 기록된다.이 때문에 따로 필드를 만들어줘야 하는 번거로움이 있다.아예 로그를 읽어들일 때 커스텀 timestamp를 기록하는 방법이 있는데, 이 방법은 로그의 한 줄 한 줄에 timstamp가 기록되어 있어야 가능하다.이 포스트에서는 주로..

도커를 통해 ELK 구축한 후 Spring boot 로그와 연결하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com ELK를 구축하고 시각화를 진행할 때 필요한 View 생성과 필드 생성을 진행해볼 것이다.시각화를 진행하려면 Data View가 꼭 필요한데, 일단 ELK 구축 완료 후 Kibana 사이트에 접속 가능하다는 가정 하에 진행할 것이다.(만약 ELK 구축 전이라면 위 포스트를 참고하면 된다.)           데이터 뷰 생성하기 Ki..

도커를 통해 ELK 구축하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com 위 포스트를 통해 A서버에 ELK가 구축되어 있다는 가정 하에, B서버의 로그를 A서버로 보내는 방법을 알아볼 것이다. 초기 환경A서버: ELK 구축되어 있음B서버: A서버로 보낼 log가 쌓임.          Ⅰ. B서버에 ELK를 별도로 구축하는 방법※ 이 방법은 서버 별로 필터를 별도로 설정하고싶은 경우 추천한다. 1. 서버 B에 Elasticsearch, Log..

아래 포스트를 이용해 ELK를 구축했다면, 호스트 디렉토리에 elasticsearch의 데이터를 저장하도록 설정했기 때문에 재부팅 시 데이터가 날아갈 걱정은 없다.하지만 만약에라도 데이터가 날아갈 위험이 있을 수 있으니, 주기적으로 백업을 해두는게 좋지 않나? 싶은 취지에서 알아보게 되었다. 도커를 통해 ELK 구축하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com        1. 스냅샷 폴더 설정하기 스냅샷을 저장할 폴더 위치를 지정해줘야한..

도커를 통해 ELK 구축하기ELK란 아래 포스트를 통해 개념을 확인할 수 있다. ELK 스택(Elasticsearch, Kibana, Beats, Logstash) 개념 정리ELK 스택Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미sweet-rain-kim.tistory.com Docker로 ELK 구축 시 재구동 시 사용자를 다시 등록해줘야 하는 번거로움이 있다.사용자 등록 후 이미지로 저장해놓으면 매번 사용자를 등록하지 않아도 바로 사용이 가능하다.아래 단계는 위 포스트처럼 Docker-compose를 통해 ELK를 이미 구축해 놓았다는 가정 하에 진행한다.  방법은 두가지가 있다. 첫 번째는 사용자 등록 스크립트 파일을 이용해 초기에 강제..