Hadoop 2.x 의사 분포 식 환경 구축 상세 한 절차

본 고 는 그림 과 글 을 결합 시 키 는 방식 으로 Hadoop 2.x 의사 분포 식 환경 구축 의 전 과정 을 상세 하 게 소개 하여 여러분 께 참고 하 시기 바 랍 니 다.구체 적 인 내용 은 다음 과 같 습 니 다.
1.hadop-env.sh,yarn-env.sh,mapred-env.sh 수정
방법:notepad+(beifeng 사용자)를 사용 하여 이 세 파일 을 엽 니 다.
코드 추가:export JAVAHOME=/opt/modules/jdk1.7.0_67
2.core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml 프로필 수정
1)core-site.xml 수정

<configuration>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://Hadoop-senior02.beifeng.com:8020</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/opt/modules/hadoop-2.5.0/data</value>
　　</property>
</configuration>

2)hdfs-site.xml 수정

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.http-address</name>
　　　　<value>Hadoop-senior02.beifeng.com:50070</value>
　　</property>
</configuration>

3)yarn-site.xml 수정

<configuration>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>Hadoop-senior02.beifeng.com</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation-enable</name>
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation.retain-seconds</name>
　　　　<value>86400</value>
　　</property>
</configuration>

4)mapred-site.xml 수정

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
　　<property>
　　　　<name>mapreduce.jobhistory.webapp.address</name>
　　　　<value>0.0.0.0:19888</value>
　　</property>
</configuration>

3.hdfs 시작
1)namenode 포맷:$bin/hdfs namenode-format
2)시작 namenode:$sbin/hadop-daemon.sh 시작 namenode
3)datanode 시작:$sbin/hadop-daemon.sh start datanode
4)hdfs 모니터링 웹 페이지:http://hadoop-senior02.beifeng.com:50070
4、원사 시작
1)resourcemanager 시작:$sbin/yarn-daemon.sh start resourcemanager 시작
2)nodemanager:sbin/yarn-daemon.sh start nodemanager 시작
3)원사 모니터링 웹 페이지:http://hadoop-senior02.beifeng.com:8088
5,테스트 wordcount jar 패키지
1)포 지 셔 닝 경로:/opt/modules/hadop-2.5.0
2)코드 테스트:bin/yarn jar share/hadoop/mapreduce/hadop-mapreduce-examples-2.5.0.jar wordcount/input/ort.txt/output 6/
실행 과정:
16/05/08 06:39:13 INFO client.RMProxy: Connecting to ResourceManager at Hadoop-senior02.beifeng.com/192.168.241.130:8032
16/05/08 06:39:15 INFO input.FileInputFormat: Total input paths to process : 1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: number of splits:1
16/05/08 06:39:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1462660542807_0001
16/05/08 06:39:16 INFO impl.YarnClientImpl: Submitted application application_1462660542807_0001
16/05/08 06:39:16 INFO mapreduce.Job: The url to track the job: http://Hadoop-senior02.beifeng.com:8088/proxy/application_1462660542807_0001/
16/05/08 06:39:16 INFO mapreduce.Job: Running job: job_1462660542807_0001
16/05/08 06:39:36 INFO mapreduce.Job: Job job_1462660542807_0001 running in uber mode : false
16/05/08 06:39:36 INFO mapreduce.Job: map 0% reduce 0%
16/05/08 06:39:48 INFO mapreduce.Job: map 100% reduce 0%
16/05/08 06:40:04 INFO mapreduce.Job: map 100% reduce 100%
16/05/08 06:40:04 INFO mapreduce.Job: Job job_1462660542807_0001 completed successfully
16/05/08 06:40:04 INFO mapreduce.Job: Counters: 49
3)결과 보기:bin/hdfs dfs-text/output 6/par*
실행 결과:
hadoop 2
jps 1
mapreduce 2
yarn 1
6.MapReduce 역사 서버
1)시작:sbin/mr-jobshistory-daemon.sh start historyserver
2)웹 ui 인터페이스:http://hadoop-senior02.beifeng.com:19888
7.hdfs,yarn,mapreduce 기능
1)hdfs:분포 식 파일 시스템,오류 가 높 은 파일 시스템 으로 저렴 한 기계 에 배치 하기에 적합 합 니 다.
hdfs 는 메 인 구조 로 namenode 와 datanode 로 나 뉘 는데 그 중에서 namenode 는 네 임 스페이스 이 고 datanode 는 저장 공간 이 며 datanode 는 데이터 블록 형식 으로 저장 되 며 각 데이터 블록 은 128 M 이다.
2)yarn:유 니 버 설 자원 관리 시스템 으로 상부 응용 에 통 일 된 자원 관리 와 스케줄 링 을 제공한다.
yarn 은 resourcemanager 와 node manager 로 나 뉘 는데 resourcemanager 는 자원 관리 와 분 배 를 책임 지고 node manager 는 데이터 처리 와 자원 을 책임 집 니 다.
3)mapreduce:MapReduce 는 일종 의 계산 모델 로 Map(맵)과 Reduce(귀 약)로 나 뉜 다.
map 는 각 줄 의 데 이 터 를 처리 한 후 키 쌍 의 형식 으로 나타 나 reduce 에 게 전달 합 니 다.reduce 는 맵 에서 보 내 온 데 이 터 를 집계 하고 통계 합 니 다.
이상 은 본문의 전체 내용 이 므 로 여러분 의 학습 에 도움 이 되 기 를 바 랍 니 다.