웹 개발자 스터디

producer input의 file 수 마다 인스턴스 개수 생성 (타입으로 구분) OUTPUT의 IF문을 통해 각 타입으로 구분 파이프 라인에서 WORKER수 조정(pipeline.workers: 1,pipeline.batch.size: 1) 분산 처리 및 배치 처리 설정 바이너리 폴더 여러개 실행 (한 로그스테이시당 몇개의 타입을 처리 할지 고려) 현재는 타입 별로 1대 예상 참고 자료 : https://www.elastic.co/guide/en/logstash/current/tuning-logstash.html GROK pattern 참고 자료 : https://github.com/logstash-plugins/logstash-patterns-core/blob/main/patterns/ecs-v1/..

카프카 기초 ------------------------------------------------------------------------------ [카프카의 개념] 실시간 분산 스트리밍 플랫폼 => 메시지 브로커 producer, consumer 가 존재하여 로그를 처리 producer, consumer의 커플링을 약하게 해줌 큐와 비슷한 개념인 토픽이 존재 ------------------------------------------------------------------------------- [토픽] 데이터가 들어가는 공간 여러개 존재 가능 producer가 데이터를 넣고 consumer가 데이터를 가져가 사용 =>consumer는 오래된 순서대로 데이터를 가져감 consumer가 가져가더..