728x90

BackEnd 학습/ELK 2

ElasticSearch(엘라스틱 서치)

구성 수집기 데이터 수집 스토리지 분리된 데이터를 저장 색인기 검색이 용이하게 수집된 데이터를 분리 검색기 사용자의 질의를 통해 데이터를 검색 인덱스 하나의 인덱스에는 하나의 타입만 존재 HTTP의 RESTful api 사용하여 CRUD 처리 RDBMS의 데이터베이스 엘라스틱서치를 분산 환경으로 구성하면 하나의 인덱스는 여러 노드에 분산 저장 됨 GET 데이터 조회 POST 인덱스 업데이트, 데이터 조회 PUT 데이터 생성 DELETE 데이터 삭제 HEAD 인덱스 정보 조회 인덱스의 샤드 수를 조절하여 대용량 데이터 분산 처리 elasticsearch.yml cluster.name 클러스터 이름 설정 node.name 노드명 설정 path.data 인덱스 저장 경로 path.log 노드와 클러스터에서 생..

BackEnd 학습/ELK 2023.04.25

Logstash(로그스테이시) - 카프카에서 consumer,producer

producer input의 file 수 마다 인스턴스 개수 생성 (타입으로 구분) OUTPUT의 IF문을 통해 각 타입으로 구분 파이프 라인에서 WORKER수 조정(pipeline.workers: 1,pipeline.batch.size: 1) 분산 처리 및 배치 처리 설정 바이너리 폴더 여러개 실행 (한 로그스테이시당 몇개의 타입을 처리 할지 고려) 현재는 타입 별로 1대 예상 참고 자료 : https://www.elastic.co/guide/en/logstash/current/tuning-logstash.html GROK pattern 참고 자료 : https://github.com/logstash-plugins/logstash-patterns-core/blob/main/patterns/ecs-v1/..

BackEnd 학습/ELK 2023.04.09