Hadoop 3.0.0 우 분투 16.04 에 분산 배치

Hadoop 3.0.0 이 3 개의 가상 기기 에서 분포 식 설 치 를 모 의 하 는 과정 을 기록 하여 향후 Hadoop 과 MR 관련 연습 에 사용 합 니 다.
더 좋 은 원본 링크 에 오신 것 을 환영 합 니 다.https://www.casscw.cn/index.php/archives/65/
가상 컴퓨터
Virtual Box 를 선 택 했 습 니 다. 자원 이 적 습 니 다. - 시스템: Ubuntu Server 16.04 x64 - Virtual Box 5.2.6 - PC 설정: 16G 메모리, CPU I5
설치 과정 은 특별한 것 이 없습니다. 본 논문 의 모든 사용자 이름 을 hadop 으로 설정 하 는 것 을 편리 하 게 하기 위해 주의해 야 할 것 은 사용 하 는 가상 컴퓨터 에 랜 접근 을 하려 면 다음 과 같은 절 차 는 먼저 NAT 네트워크 를 추가 해 야 합 니 다. 그 다음 에 가상 컴퓨터 네트워크 카드 를 NAT 네트워크 에 추가 해 야 합 니 다. 주의해 야 할 것 은 모든 가상 컴퓨터 가 두 장의 네트워크 카드 를 설정 하 는 것 이 좋 습 니 다.하나의 NAT 네트워크 만 있 으 면 가상 컴퓨터 가 외부 네트워크 에 연결 할 수 없 게 될 것 이다.이 설정 은 여러 장의 네트워크 카드 를 설정 할 때 가상 컴퓨터 에서 모든 네트워크 카드 가 정상적으로 켜 졌 는 지 확인 해 야 합 니 다. / etc / network / interfaces 설정 이나 ifconfig -a 을 통 해 확인 할 수 있 습 니 다.
호스트 이름 변경
호스트 이름 은 hostname 입 니 다. 파일 은 / etc / hostname 에 있 습 니 다. 그 중 하 나 를 master 로 설정 하고 다른 두 대 는 각각 slave 1, slave 2 로 설정 합 니 다.수정 완료 후 다시 시작 하면 유효 합 니 다
호스트 수정
hosts 파일 을 수정 합 니 다. / ets / hosts 에 있 습 니 다. master, slave 1, slave 2 에 대응 하 는 ip 주소 와 호스트 이름 을 모든 기계 에 입력 합 니 다.

10.0.2.4    master
10.0.2.5    slave2
10.0.2.6    slave1

로그 인 면제 ssh 설정
세 대의 기계 에서 각각 실행 ssh-keygen -t rsa 한 다음 에 차 로 돌아 가 끝 날 때 까지 master 에서 루트 디 렉 터 리 에 있 는 ssh 폴 더 에 들 어 갑 니 다.

cat id_rsa.pub >> authorized_keys
scp authorized_keys hadoop@slave1:~/.ssh
scp authorized_keys hadoop@slave2:~/.ssh

위 명령 에 대한 설명 은 master 의 공개 키 를 authorized 로 복사 하 는 것 입 니 다.keys 파일 에서 두 번 째 줄 세 번 째 줄 은 각각 authorizedkeys 파일 을 slave 1 과 slave 2 의. ssh 폴 더 에 복사 합 니 다. master 를 대표 하여 비밀번호 ssh 로 slave 1 과 slave 2 에 로그 인 합 니 다.주의해 야 할 것 은 이쪽 의 ip 주 소 는 모두 호스트 이름 으로 대체 되 었 으 며, 위의 hosts 수정 등 절차 가 잘못 되면 이쪽 도 진행 할 수 없습니다.
JDK 1.8 설정
Hadoop 3.0 은 최소 JDK 8.0 을 요구 하 는 것 같 습 니 다. 홈 페이지 에 압축 버 전 을 다운로드 하여 임의의 디 렉 터 리 로 압축 을 풀 고 환경 변 수 를 추가 하 십시오.

export JAVA_HOME=/home/hadoop/tools/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

이상 설정 JDK 1.8 작업 은 각각 세 대의 기 계 를 똑 같이 실행 해 야 합 니 다.
Hadoop 3.0.0 설정
사이트 에 해당 하 는 압축 파일 을 master 의 루트 디 렉 터 리 나 임 의 디 렉 터 리 에 다운로드 합 니 다. 학습 목적 으로 루트 디 렉 터 리 에 직접 배치 하면 됩 니 다.압축 을 풀 면 hadop - 3.0.0 폴 더 를 얻 고 디 렉 터 리 / hadop - 3.0.0 / etc / hadop 에 들 어가 일련의 설정 을 진행 합 니 다.

**core-site.xml**
<configuration>
  <property>
    <name>fs.defaultFSname>
     <value>hdfs://master:9000value>
  property>
  <property>
      <name>hadoop.tmp.dirname>
      <value>file:///home/hadoop/hadoop-3.0.0/tmpvalue>
  property>
configuration>

**hdfs-site.xml**
<configuration>
<property>
   <name>dfs.replicationname>
   <value>2value>
 property>
 <property>
   <name>dfs.namenode.name.dirname>
   <value>file:///home/hadoop/hadoop-3.0.0/hdfs/namevalue>
 property>
 <property>
   <name>dfs.datanode.data.dirname>
   <value>file:///home/hadoop/hadoop-3.0.0/hdfs/datavalue>
 property>
 <property>
   <name>dfs.namenode.secondary.http-addressname>
   <value>slave1:9001value>
 property>
configuration>

**yarn-site.xml**
<configuration>


    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
        <value>org.apache.hadoop.mapred.ShuffleHandlevalue>
    property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.addressname>
        <value>master:8025value>
    property>
    <property>
        <name>yarn.resourcemanager.scheduler.addressname>
        <value>master:8030value>
    property>
    <property>
        <name>yarn.resourcemanager.addressname>
        <value>master:8040value>
    property>
configuration>

**mapred-site.xml**
<configuration>
<property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
property>

<property>
 <name>mapreduce.application.classpathname>
 <value>
  /home/hadoop/hadoop-3.0.0/etc/hadoop,
  /home/hadoop/hadoop-3.0.0/share/hadoop/common/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/common/lib/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/hdfs/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/hdfs/lib/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/mapreduce/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/mapreduce/lib/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/yarn/*,
  /home/hadoop/hadoop-3.0.0/share/hadoop/yarn/lib/*
 value>
property>
configuration>

**workers**
               workers  ，    slave     
slave1
slave2

**hadoop-env.sh**
       
export JAVA_HOME=/home/hadoop/tools/jdk1.8.0_161

**yarn-env.sh**
       
export JAVA_HOME=/home/hadoop/tools/jdk1.8.0_161

설정 이 완료 되면 hadop - 3.0.0 전체 폴 더 를 다른 두 대의 기계 slave 1 과 slave 2 로 복사 합 니 다.

scp -r hadoop-3.0.0/ hadoop@slave1:/home/hadoop/
scp -r hadoop-3.0.0/ hadoop@slave2:/home/hadoop/

Hadoop 시작

bin 디 렉 터 리 에 들 어 갑 니 다. / hdfs namenode - format

sbin 디 렉 터 리 에 들 어 갑 니 다. / start - dfs. sh. / start - yarn. sh

홈 페이지 보기,http://master:8088화해시키다http://master:9870, 디 스 플레이 가 정상적으로 열 리 면 전체 환경 설정 이 성공 했다 는 것 을 설명 합 니 다

테스트 WordCount 애플 릿

파일 시스템 의 파일 을 봅 니 다. hadoop fs -ls / 그 중에서 / 은 루트 디 렉 터 리

를 대표 합 니 다.

파일 시스템 에 디 렉 터 리 를 만 듭 니 다. hadoop fs -mkdir -p /user/hadoop/ 그 중에서 -p 은 부모 디 렉 터 리 도 동시에 만 듭 니 다

.

파일 시스템 에 파일 을 추가 합 니 다. hadoop fs -put a.txt /user/hadoop/ 그 중에서 a.txt 임의로 만 든 텍스트 를 주파수 통계 로 입력 합 니 다

실행 hadoop jar hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount a.txt wordcount, 오류 없 이

결과 보기, hadoop fs -cat /user/hadoop/wordcount/part-r-00000

레 퍼 런 스

http://blog.csdn.net/wuxidemo/article/details/77115931