hadop 학습 입문 의 위조 분포 식 배치 및 테스트
Hadoop 다운로드: 주소: http://www.apache.org/dyn/closer.cgi/hadoop/common/ 미 러 주 소 를 선택 하 십시오.버 전 선택.
작업 은 모두 hadop 의 홈 디 렉 터 리 에 있 습 니 다.
준비 작업
다운 로드 된 Hadoop 발행 판 을 압축 해제 합 니 다.conf / hadop - env. sh 파일 을 편집 하려 면 최소한 JAVAHOME 는 자바 설치 루트 경로 로 설정 되 어 있 습 니 다.
다음 명령: $bin / hadop 은 hadop 스 크 립 트 의 사용 문 서 를 표시 합 니 다.
다음 세 가지 지원 모드 중 하나 로 Hadoop 클 러 스 터 를 시작 합 니 다.
단기 모드 의사 분포 식 모드 완전 분포 식 모드 위 분포 식 설정 을 소개 합 니 다.
의사 분포 식 모드 의 조작 방법
Hadoop 은 단일 노드 에서 이른바 의사 분포 식 모드 로 실행 할 수 있 습 니 다. 이 때 모든 Hadoop 데 몬 은 독립 된 자바 프로 세 스 로 실 행 됩 니 다.
배치 하 다.
다음 conf / core - site. xml 사용:
conf/hdfs-site.xml:<configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.0.101:9000</value> </property> </configuration>
<configuration>
<property>
<name>fs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.0.101:9001</value> </property> </configuration>
우선, DFS 파일 시스템 을 포맷 해 달라 고 namenode 에 요청 합 니 다.설치 과정 에서 이 절 차 를 마 쳤 지만 깨끗 한 파일 시스템 을 만들어 야 하 는 지 알 아 보 는 것 이 유용 하 다.
bin/hadoop namenode -format
출력:
11/11/30 09:53:56 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = ubuntu1/192.168.0.101 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.2 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010 ************************************************************/ 11/11/30 09:53:56 INFO namenode.FSNamesystem: fsOwner=root,root 11/11/30 09:53:56 INFO namenode.FSNamesystem: supergroup=supergroup 11/11/30 09:53:56 INFO namenode.FSNamesystem: isPermissionEnabled=true 11/11/30 09:53:56 INFO common.Storage: Image file of size 94 saved in 0 seconds. 11/11/30 09:53:57 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted. 11/11/30 09:53:57 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at ubuntu1/192.168.0.101 ************************************************************/
실행: bin / start - all. sh
출력:
starting namenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-ubuntu1.out localhost: starting datanode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-ubuntu1.out localhost: starting secondarynamenode, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-secondarynamenode-ubuntu1.out starting jobtracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-jobtracker-ubuntu1.out localhost: starting tasktracker, logging to /usr/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-ubuntu1.out
hdfs: bin / hadoopfs - ls / 검사
출력 디 렉 터 리 파일 은 정상 입 니 다.
hadop 파일 시스템 작업:
bin/hadoop fs -mkdir test
bin/hadoop fs -ls test
bin/hadoop fs -rmr test
테스트 hadop:
bin/hadoop fs -mkdir input
두 텍스트 파일 만 들 기: file 1 과 file 2 는 / opt / hadop / sourcedata 에 놓 습 니 다.
실행: bin / hadoopfs - pt / opt / hadop / sourcedata / file * input
실행: bin / hadop jar hadop - 0.20.2 - examples. jar wordcount input output
출력:
11/11/30 10:15:38 INFO input.FileInputFormat: Total input paths to process : 2 11/11/30 10:15:52 INFO mapred.JobClient: Running job: job_201111301005_0001 11/11/30 10:15:53 INFO mapred.JobClient: map 0% reduce 0% 11/11/30 10:19:07 INFO mapred.JobClient: map 50% reduce 0% 11/11/30 10:19:14 INFO mapred.JobClient: map 100% reduce 0% 11/11/30 10:19:46 INFO mapred.JobClient: map 100% reduce 100% 11/11/30 10:19:54 INFO mapred.JobClient: Job complete: job_201111301005_0001 11/11/30 10:19:59 INFO mapred.JobClient: Counters: 17 11/11/30 10:19:59 INFO mapred.JobClient: Job Counters 11/11/30 10:19:59 INFO mapred.JobClient: Launched reduce tasks=1 11/11/30 10:19:59 INFO mapred.JobClient: Launched map tasks=2 11/11/30 10:19:59 INFO mapred.JobClient: Data-local map tasks=2 11/11/30 10:19:59 INFO mapred.JobClient: FileSystemCounters 11/11/30 10:19:59 INFO mapred.JobClient: FILE_BYTES_READ=146 11/11/30 10:19:59 INFO mapred.JobClient: HDFS_BYTES_READ=64 11/11/30 10:19:59 INFO mapred.JobClient: FILE_BYTES_WRITTEN=362 11/11/30 10:19:59 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=60 11/11/30 10:19:59 INFO mapred.JobClient: Map-Reduce Framework 11/11/30 10:19:59 INFO mapred.JobClient: Reduce input groups=9 11/11/30 10:19:59 INFO mapred.JobClient: Combine output records=13 11/11/30 10:19:59 INFO mapred.JobClient: Map input records=2 11/11/30 10:19:59 INFO mapred.JobClient: Reduce shuffle bytes=102 11/11/30 10:19:59 INFO mapred.JobClient: Reduce output records=9 11/11/30 10:19:59 INFO mapred.JobClient: Spilled Records=26 11/11/30 10:19:59 INFO mapred.JobClient: Map output bytes=120 11/11/30 10:19:59 INFO mapred.JobClient: Combine input records=14 11/11/30 10:19:59 INFO mapred.JobClient: Map output records=14 11/11/30 10:19:59 INFO mapred.JobClient: Reduce input records=13
실행 성공!
기타 보기 결과 명령:
bin/hadoop fs -ls /user/root/output
bin/hadoop fs -cat output/part-r-00000
bin/hadoop fs -cat output/part-r-00000 | head -13
bin/hadoop fs -get output/part-r-00000 output.txt
cat output.txt | head -5
bin/hadoop fs -rmr output
브 라 우 저 로 도 볼 수 있 습 니 다. 주소:
http://192.168.0.101:50030(maprediuce 웹 페이지)http://192.168.0.101:50070(hdfs 웹 페이지)
다음은 grep 의 mapreduce 작업 을 수행 합 니 다:
실행: bin / hadop fs - rmr output
실행: bin / hadop jar hadop - 0.20.2 - examples. jar grep input output 'hadop'
출력:11/11/30 10:28:37 INFO mapred.FileInputFormat: Total input paths to process : 2 11/11/30 10:28:40 INFO mapred.JobClient: Running job: job_201111301005_0002 11/11/30 10:28:41 INFO mapred.JobClient: map 0% reduce 0% 11/11/30 10:34:16 INFO mapred.JobClient: map 66% reduce 0% 11/11/30 10:37:40 INFO mapred.JobClient: map 100% reduce 11% 11/11/30 10:37:50 INFO mapred.JobClient: map 100% reduce 22% 11/11/30 10:37:54 INFO mapred.JobClient: map 100% reduce 66% 11/11/30 10:38:15 INFO mapred.JobClient: map 100% reduce 100% 11/11/30 10:38:30 INFO mapred.JobClient: Job complete: job_201111301005_0002 11/11/30 10:38:32 INFO mapred.JobClient: Counters: 18 11/11/30 10:38:32 INFO mapred.JobClient: Job Counters 11/11/30 10:38:32 INFO mapred.JobClient: Launched reduce tasks=1 11/11/30 10:38:32 INFO mapred.JobClient: Launched map tasks=3 11/11/30 10:38:32 INFO mapred.JobClient: Data-local map tasks=3 11/11/30 10:38:32 INFO mapred.JobClient: FileSystemCounters 11/11/30 10:38:32 INFO mapred.JobClient: FILE_BYTES_READ=40 11/11/30 10:38:32 INFO mapred.JobClient: HDFS_BYTES_READ=77 11/11/30 10:38:32 INFO mapred.JobClient: FILE_BYTES_WRITTEN=188 11/11/30 10:38:32 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=109 11/11/30 10:38:32 INFO mapred.JobClient: Map-Reduce Framework 11/11/30 10:38:32 INFO mapred.JobClient: Reduce input groups=1 11/11/30 10:38:32 INFO mapred.JobClient: Combine output records=2 11/11/30 10:38:32 INFO mapred.JobClient: Map input records=2 11/11/30 10:38:32 INFO mapred.JobClient: Reduce shuffle bytes=46 11/11/30 10:38:32 INFO mapred.JobClient: Reduce output records=1 11/11/30 10:38:32 INFO mapred.JobClient: Spilled Records=4 11/11/30 10:38:32 INFO mapred.JobClient: Map output bytes=30 11/11/30 10:38:32 INFO mapred.JobClient: Map input bytes=64 11/11/30 10:38:32 INFO mapred.JobClient: Combine input records=2 11/11/30 10:38:32 INFO mapred.JobClient: Map output records=2 11/11/30 10:38:32 INFO mapred.JobClient: Reduce input records=2 11/11/30 10:38:36 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
실행: bin / hadop fs - cat output / part - 00000
출력: 2hadop
의사 분포 식 배치 및 테스트 를 성공 적 으로 마 쳤 습 니 다.질문 이 있 으 면 메 시 지 를 남 겨 주세요!
좋은 웹페이지 즐겨찾기
