데브원영

  • 프로그래밍언어
  • 쿠버네티스
  • 오픈소스
  • 빅데이터
  • DevOps
  • 세미나
  • 일상이야기
  • 여행이야기
프로필사진

데브원영

life is short

300x250
  • 분류 전체보기 (477)
    • 빅데이터 (210)
      • nosql (19)
      • Kafka (125)
      • 하둡 (11)
      • Elasticsearch (6)
      • cassandra (12)
    • DevOps (46)
      • Project management (8)
      • 소프트웨어공학 (5)
      • 쿠버네티스 (23)
      • CI & CD (4)
    • Programming Language (57)
      • Kotlin (1)
      • Java & Scala (33)
      • JS & JQuery (6)
      • golang (12)
      • R (2)
    • 개발이야기 (38)
      • Effective Java (15)
      • open source (8)
      • Android (10)
      • 리펙토링 (1)
      • 스프링 프레임워크 (4)
      • UI & UX (1)
      • React (4)
      • ibatis (2)
      • Front-end (2)
      • Docker (3)
      • Library (1)
      • Infrastructure (2)
      • servlet container (3)
      • web programming (1)
      • AWS (21)
      • GCP (0)
      • macbook (1)
      • 개발책 집필 (1)
    • 세미나 (12)
      • 디지털 실크로드 (6)
      • google io (3)
    • 일상 (30)
      • 유용한 사이트 (7)
      • 인테리어이야기 (0)
      • Hackathon (3)
      • 집이야기 (0)
      • 사진이야기 (3)
      • 책 리뷰 (2)
      • 리뷰 (2)
    • 여행이야기 (0)
      • 하와이 (0)
      • 도쿄 (0)

Tag

BigData 빅데이터 java kafka Apache 자바 ksql 카프카 안드로이드 mongoDB
250x250

LinkedIn 1

Burrow - kafka consumer의 지연(lag)을 모니터링할 수 있는 효과적인 opensource tool

Burrow github : https://github.com/linkedin/Burrow Burrow는 Kafka를 개발한 Linkedin에서 만든 consumer lag monitoring tool이며, opensource로 운영되고 있다. 각 consumer는 특정 topic에 대해 고유의 groupId를 가지고 consuming을 하는데, consume이 잘 되고 있는지 모니터링이 필요하다. Burrow가 나오게된 배경 기존 Kafka client의 consumer의 metrics() method를 사용하여 lag metric(records-lag-max)을 기록할수 있지만, 이는 가장 뒤처진 파티션의 현재 지연을 보여주므로 다른 파티션에서의 정상작동을 잘 감지하기가 어렵다. 또한, consume..

빅데이터/Kafka 2019.08.02
이전
1
다음
더보기

티스토리툴바