Hadoop 2.7.0 학습 - 완전 분포 식 구축

Hadoop 2.7.0 학습 - 완전 분포 식 구축
학습 참고
http://www.07net01.com/2015/07/874408.html
VM 에 가상 머 신 두 개 를 새로 만 듭 니 다.
vm 에 두 개의 가상 컴퓨터 hadop - master hadop - node 1 Liux 버 전 은 [빨 간 모자 기업 Linux. 6.4. 서버 버 전]. rhel - server - 6.4 - x86 입 니 다.64-dvd[ED2000.COM]
master 와 node 1 기계 환경 구축
방화벽 을 닫다
master 와 node 1 가상 컴퓨터 의 방화벽 을 닫 고 터미널 을 열 어 service iptables stop 을 임시 닫 습 니 다. 재 부팅 후 실효 chkconfig iptables off 를 영구적 으로 닫 습 니 다. service iptables stauts 는 방화벽 상 태 를 봅 니 다.
SELinux 닫 기
vim / etc / sysconfig / selinux 를 입력 하고 i 를 누 르 면 편집 모드 설정 에 들 어 갑 니 다: SELINUX = disabled 를 누 르 면 Esc 를 누 르 면 편집 을 종료 합 니 다. 입력: wq!리 턴, 즉 저장 및 종료 또는 shift + z + z
호스트 ip 설정
ip 개인 상황 에 따라 본 고 는 다음 master 의 ip 설정 을 192.168.20.41 node 1 로 설정 한 ip 설정 을 192.168.20.142 오른쪽 단 추 를 누 르 면 다음 아이콘 설정 이 완 료 된 후 네트워크 service network restart 를 다시 시작 합 니 다.
가상 컴퓨터 네트워크 를 브리지 모드 로 설정 하 다.
호스트 이름 설정
호스트 이름 을 사용자 정의 할 수 있 습 니 다. 본 호스트 이름 은 다음 master: hadop - master node 1: hadop - node 1 코드 는 vi / etc / sysconfig / network 에서 호스트 이름 을 hadop - master 로 변경 하면 유효 합 니 다. source / etc / sysconfig / network 보기: echo $HOSTNAME 효과 그림:
ip 맵 관계 설정
본 논문 의 ip 매 핑 관 계 는 다음 과 같다 master: 192.168.20.41 hadop - master node 1: 192.168.20.142 hadop - node 1 vi / etc / hosts 첨가 192.168.20.141 hadop - master 첨가 192.168.20.142 hadop - node 1
로그 인 면제 모드 설정
비밀 키 를 생 성 합 니 다. ssh - keygen 사이 에 빈 칸 이 없 음 을 주의 하 십시오. ssh - keygen - t rsa 가 실 행 된 후 연속 으로 Enter 를 클릭 하 십시오. 다음 그림 은 성공 적 인 그림 설정 입 니 다.다음 에 ifconfig 를 입력 할 필요 가 없습니다. 현재 ip 은 192.168.20.42 입 니 다. exit 를 입력 하고 ssh 연결 을 종료 하 십시오. 주의: node 1 가상 컴퓨터 에서 도 비밀번호 없 는 로그 인 재 부팅 을 설정 해 야 합 니 다.
자바 환경 구축
master 와 node 1 가상 컴퓨터 에 자바 환경 을 구축 하여 rpm 파일 자바 버 전 을 업로드 합 니 다: jdk - 7u80 - linux - x64 명령 rpm - ivh jdk - 7u80 - linux - x64. rpm 자바 가 usr 아래 자바 에 설치 되 어 있 습 니 다. / etc / profile 을 마지막 으로 추가 합 니 다.

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source / etc / profile 적용
master 가상 컴퓨터 Hadoop 설정
hadop - 2.7.0 1. 분 권 1, 2. 분 권 2, 3. 분 권 3.

    ，    1，    

컴 파일 된 hadop 압축 패 키 지 를 master 가상 컴퓨터 에 보 낸 / usr / local / bigdata / tools 를 업로드 합 니 다. 없 으 면 새 디 렉 터 리 는 bigdata 디 렉 터 리 의 새 tools 와 soft 두 디 렉 터 리 에서 tar - zxf hadop - 2.7.0. tar. gz - C... / soft / hadop - 2.7.0 / etc / hadop 에 대응 하 는 설정 문 core - site. xml 을 수정 합 니 다.

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop-master:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/usr/local/bigdata/soft/hadoop-2.7.0/data/tmpvalue>
    property>
configuration>

hadop - env. sh export JAVA 찾기HOME, 설치 전에 설치 한 JAVAHOME

export JAVA_HOME=/usr/java/jdk1.7.0_80

hdfs-site.xml

<configuration>
    <property> 
        <name>dfs.replicationname> 
        <value>1value> 
    property> 
    <property> 
        <name>dfs.namenode.secondary.http-addressname> 
        <value>hadoop-master:9001value> 
    property> 
configuration>

mapred - site. xml. template 에서 파일 이름 을 mapred - site 로 변경 합 니 다.

<configuration>
    <property> 
        <name>mapreduce.framework.namename> 
        <value>yarnvalue> 
    property> 
    <property> 
        <name>mapreduce.jobhistory.addressname> 
        <value>hadoop-master:10020value> 
    property> 
    <property> 
        <name>mapreduce.jobhistory.webapp.addressname> 
        <value>hadoop-master:19888value> 
    property> 
configuration>

slaves 가 노드 의 ip 맵 으로 변경 되 었 습 니 다.

hadoop-node1

yarn-site.xml

<configuration>


    <property> 
        <name>yarn.nodemanager.aux-servicesname> 
        <value>mapreduce_shufflevalue> 
    property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname> 
        <value>org.apache.hadoop.mapred.ShuffleHandlervalue> 
    property> 
    <property> 
        <name>yarn.resourcemanager.addressname> 
        <value>hadoop-master:8032value> 
    property> <property> 
        <name>yarn.resourcemanager.scheduler.addressname> 
        <value>hadoop-master:8030value> 
    property> <property> 
        <name>yarn.resourcemanager.resource-tracker.addressname> 
        <value>hadoop-master:8031value> 
    property> 
    <property> 
        <name>yarn.resourcemanager.admin.addressname> 
        <value>hadoop-master:8033value> 
    property> 
    <property> 
        <name>yarn.resourcemanager.webapp.addressname> 
        <value>hadoop-master:8088value> 
    property>
configuration>

node 1 가상 컴퓨터 Hadoop 설정
master 가 설정 한 hadop 폴 더 를 node 1 에 직접 복사 합 니 다. node 1 가상 컴퓨터 에 도 해당 하 는 위치 가 있 는 디 렉 터 리 scp - r hadop - 2.7.0 을 확보 해 야 합 니 다.root@hadoop-node1:/usr/local/bigdata/soft/
시동 을 걸다
hadop 디 렉 터 리 에서 명령 을 실행 합 니 다 sbin / start - dfs. sh sbin / start - yarn. sh jps 명령 을 입력 하여 시작 효 과 를 봅 니 다 master: node 1: 관리 페이지 에 방문 하여 해당 노드 정 보 를 봅 니 다.http://192.168.20.141:50070/
테스트 성공 여부
디 렉 터 리 bin / hdfs dfs - mkdir / tmp 를 만 들 면 다음 그림 에서 생 성 된 디 렉 터 리 복사 파일 을 볼 수 있 습 니 다. 해당 파일 bin / hdfs dfs - copyFromLocal / etc / profile / tmp 를 볼 수 있 습 니 다.