데브원영

  • 프로그래밍언어
  • 쿠버네티스
  • 오픈소스
  • 빅데이터
  • DevOps
  • 세미나
  • 일상이야기
  • 여행이야기
프로필사진

데브원영

life is short

300x250
  • 분류 전체보기 (477)
    • 빅데이터 (210)
      • nosql (19)
      • Kafka (125)
      • 하둡 (11)
      • Elasticsearch (6)
      • cassandra (12)
    • DevOps (46)
      • Project management (8)
      • 소프트웨어공학 (5)
      • 쿠버네티스 (23)
      • CI & CD (4)
    • Programming Language (57)
      • Kotlin (1)
      • Java & Scala (33)
      • JS & JQuery (6)
      • golang (12)
      • R (2)
    • 개발이야기 (38)
      • Effective Java (15)
      • open source (8)
      • Android (10)
      • 리펙토링 (1)
      • 스프링 프레임워크 (4)
      • UI & UX (1)
      • React (4)
      • ibatis (2)
      • Front-end (2)
      • Docker (3)
      • Library (1)
      • Infrastructure (2)
      • servlet container (3)
      • web programming (1)
      • AWS (21)
      • GCP (0)
      • macbook (1)
      • 개발책 집필 (1)
    • 세미나 (12)
      • 디지털 실크로드 (6)
      • google io (3)
    • 일상 (30)
      • 유용한 사이트 (7)
      • 인테리어이야기 (0)
      • Hackathon (3)
      • 집이야기 (0)
      • 사진이야기 (3)
      • 책 리뷰 (2)
      • 리뷰 (2)
    • 여행이야기 (0)
      • 하와이 (0)
      • 도쿄 (0)

Tag

kafka BigData 안드로이드 카프카 빅데이터 Apache mongoDB 자바 ksql java
250x250

DFS 2

Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까?

Hadoop에서 가장 많이 쓰이는 명령어로 아래와 같이 job을 수행하는 것이 있다. /bin/hadoop jar [jar file] [arguments..]상기와 같이 jar를 실행하게되면 hadoop은 어떤 node로 어떤 job을 보내게 되는걸까? Client 혹은 interface server에서 hadoop jar와 함께 command를 입력Client는 실행에 대한 신규 application Id를 발급받. 그리고 jar file은 HDFS의 job resource로 복사(by default 10 on large clusters)Cluster(각 데이터노드)에서 실행됨. (다만 hadoop config에 local 설정을 하게 되면 해당 호스트에서 실행됨)

빅데이터/하둡 2018.12.17
Hdfs dfs 명령어 정리 및 설명(ls, cat, du, count, copyFromLocal 등)

Hadoop을 적절히 사용하기 위해서는 hdfs 명령어를 알아야 한다. 아래에 정리를 해 보았다. ※ 2.6.0 version을 기준으로 정리함 Hadoop 명령어 Hadoop filesystem command를 사용하기 위함. Usage : hdfs dfs [GENERIC_OPTIONS] [COMMAND_OPTIONS] HDFS 명령어 File System(FS) shell은 Hadoop Distributed File System(HDFS)를 여타 파일시스템처럼 관리하기 위한 목적으로 command를 사용할 수 있다. Hadoop-2.6.0에서는 총 33개의 HDFS 명령어를 지원한다. 1) appendToFile Local 파일들을 hdfs에 append 저장하기 위한 목적 Usage: hdfs df..

빅데이터/하둡 2018.12.11
이전
1
다음
더보기

티스토리툴바