hadoop2.x 구성

hadoop2.x 구성
1. 독립 모드
실행 중인 데몬이 없으며 모든 프로그램이 하나의 JVM에서 실행됩니다.개발 기간 동안 MapReduce 프로그램을 실행하기에 적합한 것은 그의 테스트와 디버깅이 쉽기 때문이다.
Hadoop2.x 압축 패키지 압축 해제 후 환경 변수를 설정하면 독립 모드입니다
jps 명령을 입력하면 수호 프로세스가 없습니다

root@ubuntu:/mnt/hgfs/Host2VMmare# jps
6518 Jps

Hadoop fs -ls/명령을 입력하여 Hadoop 파일 시스템을 확인하십시오. 이 때 분포식이 아닌

root@ubuntu:/# hadoop fs -ls /
Found 24 items
drwxr-xr-x   - root root       4096 2016-10-31 11:05 /bin
drwxr-xr-x   - root root       4096 2017-04-08 01:00 /boot
drwxrwxr-x   - root root       4096 2016-10-31 10:34 /cdrom
drwxr-xr-x   - root root       4320 2017-04-08 09:11 /dev
drwxr-xr-x   - root root      12288 2017-04-08 09:34 /etc
drwxr-xr-x   - root root       4096 2016-10-31 11:04 /home
-rw-r--r--   1 root root   45733397 2017-04-08 01:00 /initrd.img
drwxr-xr-x   - root root       4096 2016-10-31 11:05 /lib
drwxr-xr-x   - root root       4096 2016-04-20 15:08 /lib64
drwx------   - root root      16384 2016-10-31 18:32 /lost+found
drwxr-xr-x   - root root       4096 2017-04-08 00:53 /media
drwxr-xr-x   - root root       4096 2017-04-08 01:00 /mnt
drwxr-xr-x   - root root       4096 2016-10-31 11:07 /opt
dr-xr-xr-x   - root root          0 2017-04-08 09:11 /proc
drwx------   - root root       4096 2017-04-08 09:12 /root
drwxr-xr-x   - root root        760 2017-04-09 07:35 /run
drwxr-xr-x   - root root      12288 2016-10-31 11:07 /sbin
drwxr-xr-x   - root root       4096 2016-04-19 07:31 /snap
drwxr-xr-x   - root root       4096 2016-04-20 15:08 /srv
dr-xr-xr-x   - root root          0 2017-04-09 09:02 /sys
drwxrwxrwt   - root root       4096 2017-04-09 08:17 /tmp
drwxr-xr-x   - root root       4096 2017-04-08 09:14 /usr
drwxr-xr-x   - root root       4096 2016-04-20 15:24 /var
-rw-r--r--   1 root root    7013984 2016-10-31 10:34 /vmlinuz

2. 위분포식
환경 변수를 구성하려면 먼저 jdk와 Hadoop을 설치합니다.
하나.hadoop/etc에서 설정 변경
1.core-site.xml:namenode 호스트 이름 설정

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://localhost/value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/usr/local/hadoop/tmpvalue>
   property>  
configuration>

2.hdfs-site.xml: 데이터 노드 던전 수량을 설정합니다. 기본 데이터 노드 수량은 하나이고 던전 수량도 하나입니다.

<configuration>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
configuration>

3.mapred-site.xml:mapreduce 프레임워크를 yarn으로 설정

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

4.yarn-site.xml: 자원 관리자와 노드 관리자 설정

<configuration>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>localhostvalue>
    property>

    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
configuration>

둘.SSH 구성

SSH      ，     

$>sudo apt-get install ssh          //  SSH(            )

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa          //    

$>cat id_rsa.pub >> ~/.ssh/authorized_keys    //  

$>ssh localhost                        //   yes

$>exit                                     //  

$>ssh localhost                      //        

셋.파일 시스템 포맷

$>hadoop namenode -format

넷.Hadoop 시작

      $>start-dfs.sh
      $>start-yarn.sh

혹은 start-all을 사용하세요.sh
jsp 보기 프로세스

root@ubuntu：/# jps
6259 Jps
5929 ResourceManager
5596 DataNode
6045 NodeManager
5774 SecondaryNameNode
5455 NameNode

jps-l에서 클래스 이름을 보고 소스 코드를 읽을 수 있습니다

root@ubuntu:/# jps -l
13001 sun.tools.jps.Jps
5929 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
5596 org.apache.hadoop.hdfs.server.datanode.DataNode
6045 org.apache.hadoop.yarn.server.nodemanager.NodeManager
5774 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
5455 org.apache.hadoop.hdfs.server.namenode.NameNode

웹 페이지를 통해 보기

http://localhost:50070/    namenode  
http://localhost:8088/             
http://localhost:19888/         

데몬 중지

$>stop-yarn.sh
$>stop-dfs.sh

3. 완전 분산
하나.가상 머신 3개 복제
s0 (NN+RM) s1(datanode+NM) s2(datanode+NM) s3(secondary NN)
둘.각각 모든 클라이언트에 ssh를 설정하여 비밀번호를 사용하지 않고 각 클라이언트에 로그인할 수 있도록 한다.

root@ubuntu:/# ssh

셋.각각 각 클라이언트에서 호스트 이름을 s1,s2,s3,s4로 수정합니다

root@ubuntu:/# gedit /etc/hostname

넷.각 클라이언트에서 IP 주소에 해당하는 호스트 이름 구성

root@ubuntu:/# gedit /etc/hosts

오.hadoop/etc에서 설정 변경
1.core-site.xml:namenode 호스트 이름을 s0으로 설정

<configuration>
   <property>
       <name>fs.defaultFSname>
       <value>hdfs://s0/value>
   property>
   <property>
        <name>hadoop.tmp.dirname>
        <value>/usr/local/hadoop/tmpvalue>
   property>  
configuration>

2.hdfs-site.xml: 데이터 노드 던전 수량을 설정합니다. 기본 데이터 노드 수량은 2이고 던전 수량도 2입니다.

<configuration>
    <property>
        <name>dfs.replicationname>
        <value>2value>
    property>
configuration>

3.mapred-site.xml:mapreduce 프레임워크를 yarn으로 설정

<configuration>
   <property>
     <name>mapreduce.framework.namename>
     <value>yarnvalue>
   property>
configuration>

4.yarn-site.xml: 자원 관리자를 s0과 노드 관리자로 설정

<configuration>
   <property>
      <name>yarn.resourcemanager.hostnamename>
      <value>s0value>
   property>

   <property>
      <name>yarn.nodemanager.aux-servicesname>
      <value>mapreduce_shufflevalue>
   property>
configuration>

5.slaves: 텍스트를

s1
s2

네 VM 모두 위의 파일 구성 변경
여섯.파일 시스템 포맷

$>hadoop namenode -format

일곱Hadoop 시작

      $>start-dfs.sh
      $>start-yarn.sh

혹은 start-all을 사용하세요.sh
jspss0 프로세스 보기

root@s0:~# jps
4219 ResourceManager
4043 SecondaryNameNode
3868 NameNode
4478 Jps
root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager

jsps1 프로세스 보기

root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager

jsps2 프로세스 보기

root@s0:~# ssh s2 jps
3012 NodeManager
2890 DataNode
3146 Jps

jspss3 프로세스 보기

root@s0:~# ssh s3 jps
3480 Jps

구성 완료!