Logstash(로그스테이시) - 카프카에서 consumer,producer

producer

• input의 file 수 마다 인스턴스 개수 생성 (타입으로 구분)
• OUTPUT의 IF문을 통해 각 타입으로 구분
• 파이프 라인에서 WORKER수 조정(pipeline.workers: 1,pipeline.batch.size: 1)
  • 분산 처리 및 배치 처리 설정
• 바이너리 폴더 여러개 실행 (한 로그스테이시당 몇개의 타입을 처리 할지 고려)
  • 현재는 타입 별로 1대 예상

참고 자료 : https://www.elastic.co/guide/en/logstash/current/tuning-logstash.html

GROK pattern 참고 자료 :

https://github.com/logstash-plugins/logstash-patterns-core/blob/main/patterns/ecs-v1/grok-patterns

consumer

• threads 개수 조정
• partition_assignment_strategy 으로 파티션 분할 방식 지정
  • RR(round - robin 사용 예정)
• auto_commit_interval_ms 설정
• input 개수 조절 ⇒ 성능에 따라 조절
  • input : input 하나에 topics 여러 개
  • input 여러 개 , 토픽 여러 개
• Logstash의 "배송자(shipper)" 측에서 이 이벤트 ID를 Elasticsearch 출력 플러그인의 document_id 옵션에 매핑할 수 있음
  • 즉, 색인 시 같은 ID를 가진 문서를 Elasticsearch가 덮어씀 -> 중복방지