Kafka(카프카) - 대용량 데이터 튜닝(고려 사항) 브로커는 주로 3개로 구성 토픽은 특정 상황 고려하여 구성 파티션과 컨슈머 그룹 개수, 리플리케이션 3 키 값 이용해서 넣을 경우 미리 파티션 정해야함(도중 추가시 매핑 테이블 변경으로 동일 파티션으로 메시지 가지 않을 수 있음) 로그 보관 혹은 삭제 여부 및 기간 마지막 오프셋만 필요할 경우 로그 컴팩션 기능 활용 로그 컴팩션 기능 : 메시지의 키값을 기준으로 마지막 데이터만 보관 JVM 힙 메모리 사이즈 처리량 효율을 위한 파티션 배치 여부 분 당 처리 하기 때문에 배치가 효율적으로 예상(2.4버전이상 스티키 파티션) batch_size 옵션 등 설정 프로듀서 부하 발생 시 압축 고려 부하 테스트 결과 프로듀서에서보단 컨슈머쪽으로 인한 lag 발..