hadoop 구축: 역사 서비스 설정 시작
1362 단어 hadoop 구축
히스토리 서비스 구성 시작 보기
(호스트 이름:hadoop101)
1) mapred-site를 설정합니다.xml mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:198882) 시작 히스토리 서버 파일 디렉터리 보기: [root@hadoop101 hadoop-2.7.2]# ls sbin/|grep mr mr-jobhistory-daemon.sh3) 역사 서버 sbin/mr-jobhistory-daemon을 시작합니다.shstart historyserver 4) 역사 서버가 jps 5를 시작하는지 보기) jobhistory 보기http://192.168.1.101:19888/jobhistory
일지의 집합
로그 집합 개념: 응용 프로그램이 실행된 후에 로그 정보를 HDFS 시스템에 업로드하여 로그 집합 기능을 엽니다. (1) yarn-site를 설정합니다.xml yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800(2)nodemanager,resourcemanager,historymanager 닫기sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager sbin/mr-jobhistory-daemon.shstophistoryserver(3)nodemanager,resourcemanager,historymanager 시작
sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager sbin/mr-jobhistory-daemon.shstarthistoryserver(4)hdfs에 이미 존재하는hdfs 파일bin/hdfs dfs-rm-R/user/hadoop/mapreduce/wordcount/output 삭제(5) wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount/user/hadoop/mapreduce/wordcount/input/user/hadoop/mapreduce/wordcount/output (6)
http://192.168.1.101:19888/jobhistory
로그 집합 개념: 응용 프로그램이 실행된 후에 로그 정보를 HDFS 시스템에 업로드하여 로그 집합 기능을 엽니다. (1) yarn-site를 설정합니다.xml yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800(2)nodemanager,resourcemanager,historymanager 닫기
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager sbin/mr-jobhistory-daemon.shstophistoryserver(3)nodemanager,resourcemanager,historymanager 시작
sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager sbin/mr-jobhistory-daemon.shstarthistoryserver(4)hdfs에 이미 존재하는hdfs 파일bin/hdfs dfs-rm-R/user/hadoop/mapreduce/wordcount/output 삭제
(5) wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount/user/hadoop/mapreduce/wordcount/input/user/hadoop/mapreduce/wordcount/output
(6)
http://192.168.1.101:19888/jobhistory