Linux CentOS 7 Hadoop 3.2 설치

우선, 블 로그 설치 참고: Hadoop 설치
하지만 설치 할 때 문제 가 생 겼 다.
현재 전체 과정 을 다음 과 같이 설명 합 니 다.
1, 다운로드 Hadoop, 홈 페이지: Hadoop 홈 페이지 다운로드
본인 사용 wget 다운로드:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

2. 다운로드 가 완료 되면 디 렉 터 리 에 압축 을 풀 수 있 습 니 다 (여 기 는 / usr / hadop 3.2).xxx. gz 가 다운로드 한 압축 파일 을 대표 합 니 다.

tar -zxvf xxx.gz -C /usr/hadoop3.2

3, 환경 변수 설정

$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

4, hadop 의 etc / hadop 디 렉 터 리 아래 core - site. xml, hdfs - site. xml, mapred - site. xml, yarn - site. xml 등 파일 을 수정 합 니 다.

core-site.xml

     fs.defaultFS
     hdfs://localhost/9000 //     ：8020；


hdfs-site.xml

     dfs.replication //   
     1 //        

    
        dfs.namenode.name.dir
        file:/usr/hadoop3.2/dfs/name
    
  
        dfs.datanode.data.dir
        file:/usr/hadoop3.2/dfs/data
    


mapred-site.xml

     mapreduce.framework.name
     yarn


yarn-site.xml

 yarn.resourcemanager.hostname 
localhost 
 
 
yarn.nodemanager.aux-services 
mapreduce_shuffle
 

hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121

5. sbin 디 렉 터 리 아래 파일 을 수정 합 니 다. 다음 과 같 습 니 다.

  start-dfs.sh   stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

  start-yarn.sh   stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6, ssh 비밀 로그 인 면제

cd ~/.ssh
ssh-keygen -t rsa
 enter3 
cp id_rsa.pub ./authorized_keys
       copy  
ls -al     
cat authorized_keys     ，   cp

7. 이로써 준비 작업 이 완료 되 었 습 니 다.초기 화 진행:

hdfs namenode -format

8, sbin 디 렉 터 리 에서 실행 하면 됩 니 다.

./start-all.sh

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

spark 의 2: 원리 소개

Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

Linux CentOS 7 Hadoop 3.2 설치

좋은 웹페이지 즐겨찾기