맥북에서 테스트를 위해 local hadoop을 띄우기 위해 테스트를 하다보면 아래와 같은 오류를 발생할 때가 있습니다.
$ /usr/local/Cellar/hadoop/3.1.2/sbin/stop-all.sh
WARNING: Stopping all Apache Hadoop daemons as a1003855 in 10 seconds.
WARNING: Use CTRL-C to abort.
Stopping namenodes on [localhost]
localhost: ssh: connect to host localhost port 22: Connection refused
Stopping datanodes
localhost: ssh: connect to host localhost port 22: Connection refused
Stopping secondary namenodes [1003855ui-MacBook-Pro.local]
1003855ui-MacBook-Pro.local: ssh: connect to host 1003855ui-macbook-pro.local port 22: Connection refused
2020-01-16 14:49:38,271 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping nodemanagers
localhost: ssh: connect to host localhost port 22: Connection refused
위 와 같이 비정상적으로 계속 connection refuse가 나는 것이 확인됩니다.
이것은 맥북에서 원격 로그인 설정이 막혔기 때문입니다. 아래와 같은 설정을 추가하여 해결할 수 있습니다.
시스템 환경설정 > 공유 > 원격로그인 > ON
위와 같이 설정하고 나면 정상적으로 실행 되는 것을 알 수 있습니다.
$ /usr/local/Cellar/hadoop/3.1.2/sbin/start-all.sh;
WARNING: Attempting to start all Apache Hadoop daemons as a1003855 in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [1003855ui-MacBook-Pro.local]
2020-01-16 14:52:16,024 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
Starting nodemanagers
반응형
'빅데이터 > 하둡' 카테고리의 다른 글
HDFS cilent 사용시 HA구성된 node 연결하기 (0) | 2020.03.11 |
---|---|
pyspark에서 gzip으로 압축되어 있는 파일 읽는 방법 (0) | 2020.02.11 |
pyspark에러 ImportError: No module named XXXX (1) | 2020.02.10 |
Java로 AWS s3에 간단히 file write하기(hadoop-aws 라이브러리 사용, NativeS3FileSystem) (249) | 2019.07.11 |
Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까? (371) | 2018.12.17 |
Hdfs dfs 명령어 정리 및 설명(ls, cat, du, count, copyFromLocal 등) (391) | 2018.12.11 |