Hadoop 분산 식 클 러 스 터 구축 완전 튜 토리 얼

Hadoop 분포 식 클 러 스 터 환경 구축 절 차 는 다음 과 같다.
실험 환경: 시스템: win 7 메모리: 8G (가상 컴퓨터 를 켜 야 하기 때문에 메모리 권장 8G 이하) 하 드 디스크: 고체 가상 컴퓨터 권장: VMware 12 Linux: Centos 7 jdk 1.7.067 hadoop-2.5.0.tar.gz

1. VMware 가상 컴퓨터 환경 설치

2. Centos 운영 체제 설치

3. 호스트 이름 설정 네트워크 수정

4. ssh 암호 없 는 로그 인 설정

5. jdk 설정 환경 변수 업로드

6. hadop 설정 환경 변수 업로드

7. hadop 프로필 수정

8. namenode 포맷

9. hadop 시작 및 테스트

1. VMware 가상 컴퓨터 환경 설치
이 단 계 는 간단 합 니 다. 설치 패 키 지 를 직접 다운로드 하고 설치 에 성공 한 후에 입력 등록 코드 를 엽 니 다.
5A02H-AU243-TZJ49-GTC7K-3C61N GA1T2-4JF1P-4819Y-GDWEZ-XYAY8 FY1M8-6LG0H-080KP-YDPXT-NVRV2 ZA3R8-0QD0M-489GP-Y5PNX-PL2A6 FZ5XR-A3X16-H819Q-RFNNX-XG2EA ZU5NU-2XWD2-0806Z-WMP5G-NUHV6 VC58A-42Z8H-488ZP-8FXZX-YGRW8
2 Centos 운영 체제 설치
저 는 여기 Linux 3 대 를 설 치 했 습 니 다. 한 대 는 namenode 이 고 두 대 는 datanode 입 니 다. Centos 7 64 비트 를 사용 하 는 것 을 권장 합 니 다. Centos 를 사용 하 는 이 유 는 간단 합 니 다. 무료 오픈 소스 이 고 중량급 Linux 에 속 하 며 생산 환경 에 더욱 가 깝 습 니 다. 물론 다른 버 전 으로 도 가능 합 니 다.다운로드 주소:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64 - DVD - 1611. iso 설치 과정 은 간단 합 니 다.
3. 호스트 이름 설정 네트워크 수정
namenode:master datanode:slave1 slave2
다음 명령 을 실행 합 니 다 vi / etc / hostname 은 localhost 를 master 로 바 꾸 고 다른 두 대 는 각각 slave 1 과 slave 2 로 바 꾸 었 습 니 다. 이 어 다음 명령 을 수행 합 니 다 vi / etc / hosts 는 Liux 세 대의 ip 과 호스트 이름 을 192.168.149.138 master 192.168.149.139 slave 1 192.168.149.140 slave 2 이상 의 주 소 를 자신의 호스트 에 따라 작성 합 니 다.
4 ssh 암호 없 는 로그 인 설정
master 에서 다음 명령 을 실행 합 니 다.
ssh - keygen 은 이전 단계 에서 실행 되면 공개 키 와 비밀 키 cd 를 생 성 합 니 다 ~ /. ssh 는. ssh 디 렉 터 리 에서 ll 명령 을 실행 하면 id 를 볼 수 있 습 니 다.rsa 와 id - rsa. pub 두 파일, 첫 번 째 는 비밀 키, 두 번 째 는 공개 키 를 실행 한 다음 ssh - copy - id - i / root /. ssh / idrsa.pub [email protected] ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]이렇게 해서 공개 키 를 다른 두 대의 Liux 에 복사 한 다음 에 성공 여 부 를 테스트 합 니 다 ssh 192.168.149.139 비밀 번 호 를 사용 하지 않 으 면 설정 이 성공 합 니 다.
5 jdk 설정 환경 변수 업로드
jdk 를 centos 에 업로드
다음 명령 을 실행 tar - zxvf jdk 1.7.067 vi / etc / profile 에서 자바 환경 변 수 를 설정 한 후 source / etc / profile 에서 자바 - version 이 잘 어 울 리 는 지 확인 합 니 다.
6. hadop 설정 환경 변 수 를 업로드 합 니 다.
hadop 설치 패 키 지 를 centos 에 업로드 합 니 다.
다음 명령 을 실행 하 십시오 tar - zxvf hadop - 2.5.0. tar. gz mv hadop - 2.5.0. tar. gz hadop 설정 hadop 환경 변 수 는 자바 와 같 습 니 다.PATH 경 로 는 각각 bin 과 sbin 으로 hadop version 성공 여 부 를 확인 합 니 다.
7 hadop 프로필 수정
수정 할 파일 은 hadop - env. sh core - site. xml hdfs - site. xml mapred - site. xml yarn - site. xml
hadoop-env.sh
JAVA홈 경로 추가
core-site.xml

<configuration>  
    <property>  
        <name>fs.default.namename>  
        <value>hdfs://master:9000value>  
    property>   
    <property>  
        <name>hadoop.tmp.dirname>  
        <value>/usr/local/hadoop/tmpvalue>   
    property>  
configuration>  

hdfs-site.xml

<configuration>   
        <property>
               <name>dfs.replicationname>  
               <value>1value>  
        property>    
configuration>  

mapred-site.xml

<configuration>  
          <property>                                                                    
　　　　　　　　<name>mapreduce.framework.namename>  
                <value>yarnvalue>  
           property>  
configuration>  

yarn-site.xml

<configuration>  
        <property>  
              <name>yarn.resourcemanager.hostnamename>  
               <value>mastervalue>  
       property>
        <property>  
               <name>yarn.nodemanager.aux-servicesname>  
               <value>mapreduce_shufflevalue>  
        property>  
configuration>

메모: 설정 이 완료 되면 master 의 hadop 을 slave 1 과 slave 2 에 복사 하 는 것 을 잊 지 마 세 요. 명령 사용: scp - r / usr / local / haop slave 1: / usr / local /
8 포맷 namenode
다음 명령 을 실행 합 니 다 hadop namenode - format start - dfs. sh start - yarn. sh
9 hadop 시작 및 테스트
master 에서 다음 명령 테스트 를 실행 합 니 다.
jps 결 과 는 다음 과 같 습 니 다. ResourceManager Jps NameNode Node Manager Secondary NameNode slave 1 과 slave 2 에서 다음 명령 을 수행 하여 jps Node Manager DataNode Jps 를 테스트 합 니 다.
이로써 hadop 분포 식 클 러 스 터 환경 구축 에 성공 하 였 습 니 다!