옛날버전(0.9이하)에서 외부 실시간 데이터를 드루이드에 넣기 위해서는 tranquility를 사용해야 했습니다. tranquility-core를 사용하여 데이터를 넣을 때 아래와 같은 오류를 경험할 때가 있습니다.
com.metamx.tranquility.tranquilizer.MessageDroppedException: Message droppedMessageDroppedException는 줄여서 MDE라고도 부르는데요. 이 오류가 발생하게 되는 원인은 크게 두가지라고합니다.
원인1 : 이벤트의 timestamp가 window period 외부에 있을 경우
원인2 : 태스크 또는 오버로드와 통신에 이슈가 있는 경우(within your firehoseRetryPeriod or indexRetryPeriod)
위 원인 2개에 대해서 Gian Merlino(imply 공동 창업자)가 설명하였습니다.
https://www.druidforum.org/t/messagedroppedexception-causes/1284
MessageDroppedException : Causes?
All, We are running Tranquility, with HOUR granularity. At the top of the hour, presumably when a new RT task spins up, we receive an increased number of MessageDroppedExceptions (MDE). The timestamps on the events appear to be well within the windowPeriod
www.druidforum.org
그리고 이 에러에 관해서는 tranquility 소스코드에도 언급하고 있습니다.
The future may contain a Unit, in which case the message was successfully sent. Or it may contain an exception, in which case the message may or may not have been successfully sent. One specific exception to look out for is MessageDroppedException, which means that a message was dropped due to unrecoverable reasons. With Druid this can be caused by message timestamps being outside the configured windowPeriod.
druid-io/tranquility
Tranquility helps you send real-time event streams to Druid and handles partitioning, replication, service discovery, and schema rollover, seamlessly and without downtime. - druid-io/tranquility
github.com
'빅데이터' 카테고리의 다른 글
| 프로메테우스 지표 rate와 increase의 차이점 (0) | 2021.07.02 |
|---|---|
| 프로메테우스 promQL에서 without 또는 by 사용시 주의사항 (0) | 2021.07.01 |
| prometheus 자바 클라이언트로 지표 수집하기 (2) | 2021.06.29 |
| Tranquility를 사용한 아파치 드루이드 실시간 데이터 적재 (0) | 2021.06.10 |
| 아파치 드루이드 소개 및 아키텍처 (0) | 2021.06.10 |
| 프로메테우스, 그라파나 사용시 레이블 값 추출, Legend 선택, 여러 variable을 포함하는 쿼리 작성. (0) | 2021.05.04 |
