CentOS 6.6 Hadoop 2.5.2 의사 분포 식 환경 구축

하 둡 은 빅 데 이 터 를 처리 하 는 데 쓰 이 며 핵심 은 HDFS, 맵 / 리 듀 싱 이다.현재 업무 중 에 이것 을 사용 할 필요 가 없 지만 기술 이 많 으 면 몸 을 누 르 지 않 고 가상 컴퓨터 의 여러 번 의 시 도 를 통 해 Hadoop 2.5.2 의 환경 을 순조롭게 구축 했다.
       먼저 CentOS 를 준비 하여 호스트 이름 을 master 로 바 꾸 고 / etc / hosts 에 master 에 대응 하 는 이 컴퓨터 ip 주 소 를 추가 합 니 다.
Linux 기본 설정

vi /etc/sysconfig/network
#       HOSTNAME=master
vi /etc/hosts
#  
  IP     master

         그리고 iptables 를 닫 고 시동 이 걸 리 지 않도록 설정 합 니 다.

service iptables stop
chkconfig iptables off

시스템 을 다시 시작 합 니 다. 다음은 ssh 암호 없 는 로그 인 설정 입 니 다.이것 을 설정 한 이 유 는 hadop 을 시작 하면 비밀 번 호 를 입력 하지 않 아 도 됩 니 다.
SSH 비밀번호 없 는 로그 인

vi /etc/ssh/sshd_config
#  4        
HostKey /etc/ssh/ssh_host_rsa_key
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

#  ，   sshd

service sshd restart

#       
ssh-keygen -t rsa
#      。               .ssh      2   。
#  .ssh  。
cat id_rsa.pub >> authorized_keys

#     ssh        。
ssh localhost

JDK 설치 설정 (약)
사용 한 버 전 은 jdk - 7u79 - linux - x64 입 니 다.
Hadoop 2.5 를 설치 하고 설정 합 니 다.
다운로드 한 tar. gz 패 키 지 를 환경 에 업로드 합 니 다.

tar -zxvf hadoop-2.5.2.tar.gz -C /usr

vi /etc/profile

#          。
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/hadoop-2.5.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib


#  ，   source /etc/profile



#  Hadoop
#  hadoop name data  
mkdir -p /usr/hdfs/name
mkdir -p /usr/hdfs/data
mkdir -p /usr/hdfs/tmp

cd /usr/hadoop-2.5.2/etc/hadoop
       JAVA_HOME
hadoop-env.sh hadoop-yarn.sh


vi core-site.xml
# configuration          ，  ip    ip
<property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/hdfs/tmp</value>
      <description>A base for other temporary directories.</description>
  </property>
<!--file system properties-->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.1.112:9000</value>
  </property>
  


vi hdfs-site.xml
#   configuration          
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    

#       mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
#   configuration          
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
  

vi yarn-site.xml
#   configuration          ,   ip       。
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <description>The address of the applications manager interface in the RM.</description>
    <name>yarn.resourcemanager.address</name>
    <value>192.168.1.112:18040</value>
  </property>
  <property>
    <description>The address of the scheduler interface.</description>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>192.168.1.112:18030</value>
  </property>
  <property>
    <description>The address of the RM web application.</description>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.1.112:18088</value>
  </property>
  <property>
    <description>The address of the resource tracker interface.</description>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>192.168.1.112:8025</value>
  </property>

이로써 Hadoop 의 초기 환경 을 설정 하 였 으 며, 시작 하기 전에 namenode 를 포맷 해 야 합 니 다.
"hadop namenode - format" 명령 을 입력 하 십시오.
시작 명령:
start-dfs.sh
start-yarn.sh
정지 명령:
stop-dfs.sh
stop-yarn.sh
시작 완료, 브 라 우 저 입력 열기 http://192.168.1.112:50070  ... 과 http://192.168.1.112:18088  설 치 를 검증 하 다.
테스트 Hadoop
hadop 자체 가 가 져 온 wordcount 를 실행 하여 설치 가 올 바른 지 확인 합 니 다.
hadop 에 설 치 된 디 렉 터 리 에 들 어가 다음 명령 을 입력 하 십시오.

mkdir example
cd example

file1. txt 와 file2. txt 편집

vi file1.txt

hello zhm
hello hadoop
hello cz

vi file2.txt

hadoop is ok
hadoop is newbee
hadoop 2.5.2

cd ..
hadoop fs -mkdir /data
hadoop fs -put -f example/file1.txt example/file2.txt /data
#  wordcount  
hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount /data /output
#      
hadoop fs -cat /output/part-r-00000
#    ：
2.5.2   1
cz      1
hadoop  4
hello   3
is      2
newbee  1
ok      1
zhm     1

   여기까지 환경 이 설정 되 어 있 습 니 다. 다음은 Maven 을 이용 한 Hadoop 개발 프로젝트 입 니 다.
   설치 과정 에서 문제 에 부 딪 히 는 것 은 필연 적 인 것 이다.인터넷 에서 잘 검색 하면 원 하 는 답 을 찾 을 수 있 습 니 다.