hadoop 위조 분포식 운행 사례 (3) - 기타 관련 설정
1. 히스토리 서버 구성
1. mapred-site를 설정합니다.xml
mapreduce.jobhistory.address
hadoop101:10020
mapreduce.jobhistory.webapp.address
hadoop101:19888
2. 시작 히스토리 서버 파일 디렉토리 보기:
[root@hadoop101 hadoop-2.7.2]# ls sbin/ |grep mr
mr-jobhistory-daemon.sh
3. 히스토리 서버 시작
sbin/mr-jobhistory-daemon.sh start historyserver
4. 히스토리 서버가 시작되었는지 확인
jps
5. jobhistory 보기
http://192.168.1.101:19888/jobhistory
2. 로그 집합 설정
1. yarn-site를 설정합니다.xml
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
604800
2. nodemanager,resourcemanager,historymanager 닫기
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver
3. nodemanager,resourcemanager,historymanager 시작
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
4. hdfs에 이미 존재하는hdfs 파일 삭제
bin/hdfs dfs -rm -R /user/honey/mapreduce/wordcount/output
5. wordcount 프로그램 실행
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/honey/mapreduce/wordcount/input /user/honey/mapreduce/wordcount/output
6. 로그 보기
http://192.168.1.101:19888/jobhistory
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
