Kafka burrow 모니터링 하지 않는 consumer group 수동제거방법

kafka burrow

Kafka burrow를 통해 모니터링 하다보면 더이상 모니터링 해도 되지 않는 consumer group이 남아있는 경우가 있습니다. 이런 경우에는 burrow의 http endpoint를 통해서 특정 consumer group을 제거하여 모니터링 대상에서 제거할 수 있습니다.

 

이번 포스팅에서는 어떻게 삭제하는지 알려드리도록 하겠습니다.

 

---

Burrow에서 Consumer group 제거

URL path

DELETE /v3/kafka/(cluster)/consumer/(group)

CURL 예제

만약 cluster이름이 dev이고 consumer group이 di-test 라면 아래와 같이 작성합니다.

curl -XDELETE http://localhost:8000/v3/kafka/dev/consumer/di-test

Parameter 설명

- cluster(String) : 제거하고자 하는 consumer group이 들어있는 cluster이름

- group(String) : consumer group 이름

Response 예제

만약 consumer group이 존재하지 않는다면 404, 이외에는 200 response가 오게됩니다.

{
  "error": false,
  "message": "consumer group removed",
  "result": {},
  "request": {
    "url": "/v3/kafka/clustername/consumer/groupname",
    "host": "responding.host.example.com",
  }
}

언제사용해야할까?

burrow를 통해 모니터링을 하다보면 더이상 consumer group을 모니터링 하지 않아도 되는 경우가 있습니다. 이 경우 위와 같은 http endpoint를 사용하여 consumer group을 제거하여 해당 consumer가 topic을 consume하지 않음을 명시적으로 선언할 수 있습니다. 다만 consumer group이 제거되더라도 나중에 동일 이름의 consumer가 다시 consumer하게 되면 burrow가 다시 모니터링하게 됩니다.