hadoop 구축: 역사 서비스 설정 시작

1362 단어 hadoop 구축

히스토리 서비스 구성 시작 보기


(호스트 이름:hadoop101)


1) mapred-site를 설정합니다.xml mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:198882) 시작 히스토리 서버 파일 디렉터리 보기: [root@hadoop101 hadoop-2.7.2]# ls sbin/|grep mr mr-jobhistory-daemon.sh3) 역사 서버 sbin/mr-jobhistory-daemon을 시작합니다.shstart historyserver 4) 역사 서버가 jps 5를 시작하는지 보기) jobhistory 보기http://192.168.1.101:19888/jobhistory

일지의 집합


로그 집합 개념: 응용 프로그램이 실행된 후에 로그 정보를 HDFS 시스템에 업로드하여 로그 집합 기능을 엽니다. (1) yarn-site를 설정합니다.xml yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800(2)nodemanager,resourcemanager,historymanager 닫기
sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager sbin/mr-jobhistory-daemon.shstophistoryserver(3)nodemanager,resourcemanager,historymanager 시작
sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager sbin/mr-jobhistory-daemon.shstarthistoryserver(4)hdfs에 이미 존재하는hdfs 파일bin/hdfs dfs-rm-R/user/hadoop/mapreduce/wordcount/output 삭제
(5) wordcount 

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount/user/hadoop/mapreduce/wordcount/input/user/hadoop/mapreduce/wordcount/output
	(6) 

http://192.168.1.101:19888/jobhistory

좋은 웹페이지 즐겨찾기