초보 Hadoop 설치 환경 구축

환경
Ubuntu 2.x.x 버 전
2.Hadoop 사용자 만 들 기
가상 컴퓨터 생 성 설치 완료 후.
1.사용자 에 게 들 어가 서 터미널 을 열 고 다음 명령 을 입력 하 십시오.

sudo useradd -m hadoop -s /bin/bash

로그 인 가능 한 Hadoop 사용 자 를 만 들 었 습 니 다.
/bin/bash 셸 로
2.비밀번호 설정
터미널 에 입력

sudo passwd hadoop     #       
sudo adduser hadoop sudo # Hadoop       

완성 하 다.
3.Hadoop 내부 환경 구축 진행
apt 업데이트
터미널 입력 열기

sudo apt-get update  #  apt
sudo apt-get install vim  #  vim          

4.ssh 를 설치 하고 암호 없 는 로그 인 설정
1.로그 인

sudo apt-get install openssh-serve   #  
ssh localhost  #            yes         

2.비밀번호 없 는 로그 인 설정

exit  #    
ssh-keygen -t rsa   #        
cat ./id_rsa.pub >> ./authorized_keys  #    
ssh localhost    #    ssh        

비밀번호 로그 인 이 필요 하지만 오류 가 발생 하면 ssh 를 삭제 하고 다시 다운로드 하여 설정 해 야 합 니 다.

rm -rf ~/.ssh   #  ssh

5.자바 환경 설치
자바 가 다운로드 한 미 러 사 이 트 를 먼저 찾 습 니 다.
화 웨 이,칭 화대 등
해당 코드 를 입력 하여 다운로드 합 니 다.

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz 

이후 다음 명령 을 입력 하여 압축 을 푼다

cd /usr/lib
sudo mkdir jvm #  /uer/lib/jvm     JDK  
cd 
sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm   #   /usr/lib/jvm   
cd ~
vim ~/.bashrc   #        

다음 내용 을 첫 줄 에 추가 합 니 다.

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

종료 후 명령 즉시 적용

source ~/bashrc  
java -version #        

6.Hadoop 설치
자바 설치 와 유사 하 게 미 러 를 검색 하고 다운로드 합 니 다.
다운로드 완료 후 Hadoop 을/usr/lib 에 설치

sudo tar -zxf ~/  /hadoop-2.6.0.tar.gz -C /usr/local    #    /usr/local 
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            #        hadoop
sudo chown -R hadoop ./hadoop       #       

cd /usr/local/hadoop
./bin/hadoop version   #      

7.Hadoop 의사 분포 설정
1.프로필

cd /usr/loca/hadoop/etc/hadoop/
gedit ./etc/hadoop/core-site.xml   #  core-site.xml   

그 중의

<configuration>
</configuration>

...로 바꾸다

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml 에서 hdfs-site.xml 로 변경 합 니 다.

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

설정 이 완료 되면 NameNode 포맷 을 실행 합 니 다:

cd /usr/local/hadoop
./bin/hdfs namenode -format

성공 하면'성공 적 으로 formatted'와'Exitting with status 0'이라는 힌트 를 볼 수 있 습 니 다.'Exitting with status 1'이면 오류 가 발생 합 니 다.
2.NameNode 와 DataNode 데 몬 열기

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh          ，      

ssh 알림 이 나타 나 면 yes 에 WARN 알림 이 나타 나 면 Hadoop 을 시작 할 때 알림 을 무시 할 수 있 습 니 다.

vim ~/.bashrc

환경 변수 추가

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

완료 후 실행

soure ~/.bashrc #     
./sbin.start-dfs.sh   #  Hadoop
jps  #        ，  NameNode ,DataNode,SecondaryNameNode     

DataNode 를 시작 할 수 없 으 면

cd /usr/local/hadoop
./sbin/stop-dfs.sh   #   
rm -r ./tmp     #    tmp   ，       HDFS         ，  
./bin/hdfs namenode -format   #       NameNode
./sbin/start-dfs.sh  #   

성공 적 으로 시작 하면 웹 인터페이스 에 접근 할 수 있 습 니 다.http://localhost:50070 NameNode 와 Datanode 정 보 를 보고 HDFS 에 있 는 파일 도 온라인 으로 볼 수 있 습 니 다.
8.Hadoop 군집 구축
그림 에 따라 네트워크 설정 을 조정 하 다.




ping 통칙 설명 성공


총결산
이 글 은 여기까지 입 니 다.당신 에 게 도움 을 줄 수 있 기 를 바 랍 니 다.또한 당신 이 우리 의 더 많은 내용 에 관심 을 가 져 주 실 수 있 기 를 바 랍 니 다!