본문 바로가기

빅데이터

728x90
반응형
Kafka opensource 분석을 통한 replication assignment 로직 확인 2018. 9. 28. Replication과 partition 개념은 Apache Kafka에서 fault tolerance 동작을 위한 핵심개념이다. 각 broker에 어떻게 partition들이 replication 되는지 github에 올라가 있는 Kafka의 opensource를 분석하여 알아 보자. Partition과 Replication # Partition : 어떤 토픽에 대해서 producer/consumer가 병렬처리방식으로 분산저장되는 단위 # Replication : 높은 가용성(High Availibility)을 얻기 위해 각각의 partition을 각기 다른 브로커에 복제하는 역할 Kafka에서 Topic을 생성하게 되면, 설정 한 partition, replication의 각각 개수에 따라 parti..
가격 최적화를 위해 맞춤형 회귀 분석 모델을 활용한 airbnb 2018. 9. 19. Introairbnb는 게스트와 호스트의 연결해주는 서비스이다. 호스트는 자신의 집의 전체 혹은 일부를 website에 올려놓으면 게스트는 호스트에게 연락하여 계약이 이루어지는 방식이다. 여기서 중요한 포인트는 airbnb는 제공자(호스트)/소비자(게스트)로 이루어진 two-sided marketplace이기 때문에, 가격이 적절하지 않으면 예약율이 떨어지게 된다. airbnb의 플랫폼 사업이라는 특성상 호스트, 게스트의 균형을 맞추는 것이 중요했다. airbnb는 위와 같은 문제를 풀기 위해 적절한 가격책정을 위해 빅데이터를 통한 분석을 사용하였고 해당 결과에 대한 논문(Customized Regression Model for Airbnb Dynamic Pricing)을 발표하였다. 관련 논문 - Ho..
HDFS(Hadoop Distributed File System) 아키텍쳐 개요 및 설명 2018. 9. 17. IntroductionHDFS(Hadoop Distributed File System)는 분산 파일시스템을 하드웨어에 저장하고, 읽는 역할을 한다. 여타 다른 분산 파일 시스템과 비슷해 보이지만, HDFS는 아래와 같은 특징을 가진다. # Highly fault-tolerant# Deployed on low-cost hardware 상기와 같은 두개의 장점으로 인해 HDFS는 대용량 데이터에 대해 저장 및 조회 용으로 적절하게 사용 가능하다. HDFS의 GoalHardware Failure1개의 node가 365일 중 하루동안 고장이 난다고 가정하자, HDFS의 data node가 1000대라면, 확률적으로 하루에 3대가 고장난다. HDFS는 이러한 물리적 고장에 대해서 신속한 detection과 aut..
728x90

티스토리툴바