CentOS 6.6 Hadoop 2.5.2 의사 분포 식 환경 구축
먼저 CentOS 를 준비 하여 호스트 이름 을 master 로 바 꾸 고 / etc / hosts 에 master 에 대응 하 는 이 컴퓨터 ip 주 소 를 추가 합 니 다.
Linux 기본 설정
vi /etc/sysconfig/network
# HOSTNAME=master
vi /etc/hosts
#
IP master
그리고 iptables 를 닫 고 시동 이 걸 리 지 않도록 설정 합 니 다.
service iptables stop
chkconfig iptables off
시스템 을 다시 시작 합 니 다. 다음은 ssh 암호 없 는 로그 인 설정 입 니 다.이것 을 설정 한 이 유 는 hadop 을 시작 하면 비밀 번 호 를 입력 하지 않 아 도 됩 니 다.
SSH 비밀번호 없 는 로그 인
vi /etc/ssh/sshd_config
# 4
HostKey /etc/ssh/ssh_host_rsa_key
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
# , sshd
service sshd restart
#
ssh-keygen -t rsa
# 。 .ssh 2 。
# .ssh 。
cat id_rsa.pub >> authorized_keys
# ssh 。
ssh localhost
JDK 설치 설정 (약)
사용 한 버 전 은 jdk - 7u79 - linux - x64 입 니 다.
Hadoop 2.5 를 설치 하고 설정 합 니 다.
다운로드 한 tar. gz 패 키 지 를 환경 에 업로드 합 니 다.
tar -zxvf hadoop-2.5.2.tar.gz -C /usr
vi /etc/profile
# 。
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/hadoop-2.5.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
# , source /etc/profile
# Hadoop
# hadoop name data
mkdir -p /usr/hdfs/name
mkdir -p /usr/hdfs/data
mkdir -p /usr/hdfs/tmp
cd /usr/hadoop-2.5.2/etc/hadoop
JAVA_HOME
hadoop-env.sh hadoop-yarn.sh
vi core-site.xml
# configuration , ip ip
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!--file system properties-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.112:9000</value>
</property>
vi hdfs-site.xml
# configuration
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
# mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
# configuration
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vi yarn-site.xml
# configuration , ip 。
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>192.168.1.112:18040</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.1.112:18030</value>
</property>
<property>
<description>The address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.112:18088</value>
</property>
<property>
<description>The address of the resource tracker interface.</description>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.1.112:8025</value>
</property>
이로써 Hadoop 의 초기 환경 을 설정 하 였 으 며, 시작 하기 전에 namenode 를 포맷 해 야 합 니 다.
"hadop namenode - format" 명령 을 입력 하 십시오.
시작 명령:
start-dfs.sh
start-yarn.sh
정지 명령:
stop-dfs.sh
stop-yarn.sh
시작 완료, 브 라 우 저 입력 열기 http://192.168.1.112:50070 ... 과 http://192.168.1.112:18088 설 치 를 검증 하 다.
테스트 Hadoop
hadop 자체 가 가 져 온 wordcount 를 실행 하여 설치 가 올 바른 지 확인 합 니 다.
hadop 에 설 치 된 디 렉 터 리 에 들 어가 다음 명령 을 입력 하 십시오.
mkdir example
cd example
file1. txt 와 file2. txt 편집
vi file1.txt
hello zhm
hello hadoop
hello cz
vi file2.txt
hadoop is ok
hadoop is newbee
hadoop 2.5.2
cd ..
hadoop fs -mkdir /data
hadoop fs -put -f example/file1.txt example/file2.txt /data
# wordcount
hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount /data /output
#
hadoop fs -cat /output/part-r-00000
# :
2.5.2 1
cz 1
hadoop 4
hello 3
is 2
newbee 1
ok 1
zhm 1
여기까지 환경 이 설정 되 어 있 습 니 다. 다음은 Maven 을 이용 한 Hadoop 개발 프로젝트 입 니 다.
설치 과정 에서 문제 에 부 딪 히 는 것 은 필연 적 인 것 이다.인터넷 에서 잘 검색 하면 원 하 는 답 을 찾 을 수 있 습 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.