kafka 썸네일형 리스트형 scala 로 kafka topic, partition 정보 가져오는 방법 아래 링크에 코드가 정리 되어 있다. https://gist.github.com/starblood/c35a4f70345cbbb5ad20d74d9fbe3f21 더보기 kafka 의 특정 topic 에 지연이 발생하는 지 확인 하는 script (check_kafka_lag) code linkhttps://gist.github.com/starblood/79f3a6af00bd9e3473a1d8ffbef0b248 #!/bin/bash kafka_home=$1zookeeper=$2group_name=$3lag_threshold=$4lag_data_sampling_count=$5if [ ! -z $6 ] ; thenlag_data_file=$6elselag_data_file=/tmp/kafka_lag.datafi function init_lag_data() {local sample_count=$1local result=()# initialize lag data array for a given sampling counti=0while [[ i -lt $sample_count ]]dor.. 더보기 MacOS 에서 kafka docker 설치와 실행 kafka 를 mac 에서 실행하는 방법을 정리 docker 를 사용하여 하는 것이 가장 간단하고 쉽다. 일단 docker 를 다운받아서 설치하자. 1. 아래 공식 사이트에서 맥용 설치 버전을 받을 수 있다.https://www.docker.com/products/docker#/mac 설치를 하게 되면 아래 그림과 같이 작업 표시줄 상단에서 고래 모양 아이콘을 볼 수 있다. 다음으로 kafka docker 이미지를 받기 위해서 docker hub 에 가서 해당 이미지가 있는 지 검색하여 사용하도록 한다.여기서 star 를 제일 많이 받은 아래 것을 사용하였다.https://hub.docker.com/r/wurstmeister/kafka/ 2. 아래의 명령어로 해당 kafka docker 이미지를 다운받는.. 더보기 kafka topic 삭제시 유의사항 apache kafka 를 사용하면서 topic 을 삭제해야 할 경우가 있다. topic 삭제는 0.8.x 부터 지원이 되는 기능인데, topic 삭제를 정상적으로 진행 하기 위해서는 $KAFKA_HOME/config/server.properties 파일에 아래와 같은 내용을 추가 해야 한다.delete.topic.enable = true 이 설정을 추가하지 않은 상태에서 topic 을 삭제하게 되면, 해당 topic 은 삭제 상태로 남게 되고, 해당 topic 으로 들어온 어떠한 메시지도 처리가 되지 않는 현상이 발생한다. ./kafka-topics.sh --list --zookeeper "localhost:2181"topic1topic2 - marked for deletion 해당 설정 값을 바꾼 후.. 더보기 이전 1 다음
