Hadoop 2. x 단일 노드 배치 학습.

 
1 환경 hadop - 2.5.2 ubuntu 64 비트 서버 jdk1.7.0_72 (tar 파일, usr / local 로 직접 압축 해제, 환경 변수 설정)
2. 필요 한 소프트웨어 는 Liux 설치 소프트웨어 방식 에 따라 다 를 수 있 습 니 다.
  $ sudo apt-get install ssh
  $ sudo apt-get install rsync
3 다운로드 hadop:http://www.apache.org/dyn/closer.cgi/hadoop/common/
4 설치 할 디 렉 터 리 에 hadop 압축 풀기
5 hadop 편집 에 필요 한 환경 etc / hadop / hadop - env. sh
  그 중에서 jdk 환경 은 자신 이 설치 한 절대 경로 로 설정 되 어 환경 변수 로 대체 할 수 없습니다.
6  실행 bin / hadop ，hadop 의 실행 매개 변수 정 보 를 인쇄 하여 설치 완료 합 니 다. 
 
hadop 세 가지 모드: 1 로 컬 모드 2 의사 분포 패턴 3 분포 모드 
1. hadop 모드 는 로 컬 모드 로 자바 의 프로 세 스 입 니 다.
   / 웹 / hadop 이 디 렉 터 리 에서 실행 
  $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
  $ cat output/*
2. 의사 분포 모델
  hadop 모든 프로 세 스 가 단독 자바 스 레 드 에서 실 행 됩 니 다. 
  1) etc / hadop / core - site. xml 설정 
   

<configuration>
   <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
   </property>

 <property>
    <name>hadoop.tmp.dir</name>
    <value>/web/hadoop-2.5.2/tmp/hadoop-${user.name}</value>
    <description>       ，      .</description>
 </property>
</configuration>

 
 
   2) etc / hadop / hdfs - site. xml 설정 
  

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

 
 
   3) ssh 가 이 컴퓨터 에 비밀번호 없 이 로그 인 할 수 있 는 지 확인 합 니 다.
$ ssh localhost 
비밀 번 호 를 입력 하려 면 비밀번호 없 는 로그 인 을 설정 해 야 합 니 다. 
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ export HADOOP\_PREFIX=/usr/local/hadoop
    4) 파일 시스템 을 포맷 합 니 다. 시스템 은 임시 파일 디 렉 터 리 를 정리 하고 디 렉 터 리 를 다시 생 성 합 니 다. 
      bin/hdfs namenode -format 
      혹은 bin / hadop namenode - format (환경 변 수 를 설정 한 후 디 렉 터 리 를 사용 하지 않 고 hadop 으로 명령 을 수행 할 수 있 습 니 다)
     포맷 과정 은 hadop. tmp. dir 가 지정 한 데이터 파일 디 렉 터 리 를 만 들 고 datanode 메타 데 이 터 를 관리 하 는 파일 을 만 듭 니 다. 
    5) 이름 노드 스 레 드 와 데이터 노드 프로 세 스 열기
      $ sbin/start-dfs.sh
     
      시작 과정 에서 log 에 오류 가 있 는 지 확인: $HADOOPHOME/logs
    6) 주 소 를 hadop 의 ip 주소 로 바 꾸 고 브 라 우 저 에서 아래 주 소 를 방문 하면 파일 시스템 의 정 보 를 조회 할 수 있 습 니 다.
     클 러 스 터 모니터링:   http://localhost:50070/
      mapreduce 모니터링:  http://cloud1:8088/ 
    7) Maprediuce 에 필요 한 디 렉 터 리 만 들 기 
$ bin/hdfs dfs -mkdir /user
$bin / hdfs dfs - mkdir / user / root (사용자 이름)
파일 시스템 에 디 렉 터 리 파일 복사 
$ bin/hdfs dfs -put etc/hadoop input
mapreduce 예 를 실행 하고 jar 버 전 수정 에 주의 하 십시오.
        $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
출력 파일 검사
$ bin/hdfs dfs -cat output/*
     8) dfs 프로 세 스 정지 $ sbin/stop-dfs.sh 
 
3. 의사 분포 모드 에서 YARN 에서 MapReduce job 를 실행 합 니 다. 
  1）etc/hadoop/mapred-site.xml 
  

<configuration>
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
</configuration>

 

   2) etc / hadop / yarn - site. xml, resourceManager 와 NodeManager 의 설정
       Map 프로그램 에서 발생 한 데 이 터 는 shuffle 형식 으로 reduce 에 전 달 됩 니 다. 
       resourceManager 접근 주소
       

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>cloud1</value>
    </property>
 
</configuration>

 
 
   3) 리 소스 관리자 와 NodeManager 스 레 드 시작
    $ sbin/start-yarn.sh
 
   4) 실행 예시 프로그램 
      hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount/input /wordcount/output 
    
 
 
환경 변수 설정:
  

export HADOOP_PREFIX=/web/hadoop-2.5.2
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOMD=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop

 
 
 
hdfs 의 모든 디 렉 터 리 보기: bin/hdfs dfs -lsr /
dfs 와 yarn 을 실행 한 후 jdk 아래 jps 명령 을 실행 합 니 다. 자바 스 레 드 를 보면 다음 스 레 드 가 있 습 니 다. 실행 에 성공 합 니 다. 
  

7313 SecondaryNameNode
7570 NodeManager
7467 ResourceManager
7129 DataNode
7029 NameNode
7675 Jps

 
 
원본: 
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation