hadoop 단기 설치 설정 튜토리얼

단기 설치는 주로 프로그램 논리 디버깅에 사용된다.설치 절차는 환경 변수, 주요 Hadoop 프로필, SSH 프로필 등을 포함하여 기본적으로 분포식 설치를 한다.주요한 차이점은 설정 파일:slaves 설정은 수정이 필요하고, 분포식 설치 중 dfs.replication은 1보다 크고, Datanode가 하나밖에 없기 때문에 1로 수정해야 합니다.분산 설치:http://acooly.iteye.com/blog/1179828단일 기기 설치에서 하나의 기계, 즉namenode와 JobTracker를 사용하는 것도 Datanode와TaskTracker이며 물론SecondaryNameNode이기도 하다.주요 프로필 core-site.xml,hdfs-site.xml,mapred-site.xml,masters는 분포 트리 설치 설정과 완전히 동일합니다. 분포식 설치 설정 방안에서hdfs-site.xml의 사본 수량 정의가 1보다 크면 1로 수정됩니다

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

주로 slaves의 설정과 다르다. 분포식 설치에서 여러 개의 다른 기계가 Datanode로 사용되고 단기 모드는 이 기계가 datanode이기 때문에 slaves 설정 파일을 이 기계의 도메인 이름으로 수정한다.예: 본 기계의 이름은 hadoop11입니다.hadoop@hadoop11~]$cat hadoop/conf/slaves hadoop11 설정을 완료하면 시작:.DEMO $echo word1 word2 word3 word3 word3 > words $cat words word1 word2 word3 word3 $hadoop dfsadmin -safemode leave $hadoop fs -copyFromLocal words/single/input/words $hadoop fs -cat/single/input/words 12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000 word1 word2 word2 word3 word3 word3 $ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount/single/input/single/output ...... $ hadoop fs -ls/single/output ...... -rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50/single/output/_SUCCESS -rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50/single/output/part-r-00000 $ hadoop fs -cat/single/output/part-r-00000 ...... word1 1 word2 2 word3 3