Hadoop: 설치 설정 hadop

설치 설정 hadop

설치

hadop 퀘 스 트 직접 수행

의사 분포 식 모드 설정:

수정 $HADOOPHOME/etc/hadoop/core-site.xml

수정 $HADOOPHOME/etc/hadoop/hdfs-site.xml

namenode 포맷

hdfs 시작

시작 성공 여부 와 로그 보기

hdfs 에 사용자 디 렉 터 리 만 들 기

퀘 스 트 제출

yarn 모드 시작

프로필 수정

시작 yarn

yarn 닫 기

설치 하 다.
압축 해제, 환경 변수 설정 (/ etc / profile):

export HADOOP_HOME=/opt/hadoop-dir
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

hadop 작업 직접 수행
(분포 식 이 아 닌 단일 자바 프로 세 스 로 디 버 깅 이 편리 합 니 다):

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'word'

의사 분산 모드 설정:
수정 $HADOOPHOME/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

수정 $HADOOPHOME/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

namenode 포맷

$HADOOP_HOME/bin/hdfs namenode -format

hdfs 시작
(시작 후 접근 가능http://localhost:50070 보다

$HADOOP_HOME/sbin/start-dfs.sh

시작 성공 여부 와 로그 보기
시작 이 완료 되면 jps 명령 을 통 해 시작 여 부 를 판단 할 수 있 습 니 다. 시작 에 성공 하면 다음 세 개의 프로 세 스 가 표 시 됩 니 다.

NameNode

DataNode

SecondaryNameNode

Secondary NameNode 가 시작 되 지 않 았 다 면 프로 세 스 를 닫 고 다시 시작 하 십시오.NameNode 나 DataNode 가 없 으 면 설정 이 성공 하지 못 한 것 입 니 다. 이전 절 차 를 자세히 확인 하거나 시작 로그 검사 원인 을 확인 하 십시오.
로그 위치 (구체 적 인 파일 이름 은 어떤 프로 세 스 가 시작 되 지 않 았 는 지 에 따라 프로 세 스 이름과 관련 된 로그 파일 을 볼 수 있 습 니 다.)

$HADOOP_HOME/logs/*.log

hdfs 에 사용자 디 렉 터 리 만 들 기
기본적으로 존재 하지 않 습 니 다. 이 디 렉 터 리 는 현재 디 렉 터 리 sbin/stop-dfs.sh 에 해당 합 니 다.

$HADOOP_HOME/bin/hdfs dfs -mkdir -p /user/root

임 무 를 제출 하 다
다음 에 실행 할 hadop 작업 은 hdfs 파일 시스템 에서 파일 을 액세스 합 니 다:

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \
grep ./input ./output 'word'

$HADOOP_HOME/bin/hdfs dfs -cat output/*

시작 yarn 모드
프로필 수정

mv $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

Yrn - site. xml (같은 디 렉 터 리 에 있 음)

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

시작 yarn
(시작 후 접근 가능http://localhost:8088/cluster 보다

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver #        ，   Web

열 린 후 jps 를 통 해 보면 NodeManager 와 ResourceManager 두 개의 배경 프로 세 스 를 볼 수 있 습 니 다.
닫 기 yarn

$HADOOP_HOME/sbin/stop-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver

YARN 을 시작 하지 않 으 려 면 설정 파일 mapred - site. xml 의 이름 을 mapred - site. xml. template 로 바 꾸 고 사용 할 때 바 꾸 면 됩 니 다.그렇지 않 으 면 이 프로필 이 존재 하고 YARN 이 열 리 지 않 은 상태 에서 프로그램 이 'Retrying connect to server: 0.0.0.0 / 0.0.0.0: 8032' 의 오 류 를 알려 줍 니 다. 이 프로필 의 초기 파일 이름 이 mapred - site. xml. template 인 이유 입 니 다.
자세 한 내용:http://www.powerxing.com/install-hadoop/
평소의 학습 에서 우 리 는 위 분포 식 을 사용 하면 충분 하 다.Hadoop 클 러 스 터 를 설치 하려 면 Hadoop 클 러 스 터 설치 설정 강 좌 를 보십시오.http://www.powerxing.com/install-hadoop-cluster/

Hadoop: 설치 설정 hadop

좋은 웹페이지 즐겨찾기