hadoop HDFS

hadop Liux 시스템 에서 의 단일 노드 의사 분포 식 설정
실험 환경:rhel 6.3   && iptables and selinux disabled     jdk: jdk-6u26-linux-x64.bin
                 hadop 버 전:hadop-1.2.1.tar.gz 
다운로드&설치 JDK
http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html

#sh jdk-6u26-linux-x64.bin
#mv jdk1.6.0_32/ /usr/local/jdk

hadop 소스 패키지 다운로드
http://hadoop.apache.org/
지정 한 디 렉 터 리&&디 렉 터 리 이름 간소화

#tar zxf hadoop-1.2.1.tar.gz -C /usr/local
#mv hadoop1.2.1/ hadoop

JAVA 환경 변수 설정

#mv hadoop1.2.1/ hadoop
#cd /usr/local/hadoop/
#vim conf/hadoop-env.sh
      export JAVA_HOME=/usr/local/hadoop/jdk

프로필 편집
http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

#vim core-site.xml 

 <configuration>

         <property>
                  <name>fs.default.name</name>
                           <value>hdfs://localhost:9000</value>
                                </property>
</configuration>

#vim hdfs-site.xml

<configuration>

        <property>
                 <name>dfs.replication</name>
                          <value>1</value>
                               </property>
</configuration>

#vim mapred-site.xml

<configuration>

 <property>
          <name>mapred.job.tracker</name>
                   <value>localhost:9001</value>
                        </property>
</configuration>

 check that you can ssh to the localhost without a passphrase

#ssh-keygen
#ssh-copy-id localhost
#ssh localhost

파일 시스템 포맷&모든 서비스 시작

#cd /usr/local/hadoop/bin/
#./hadoop namenode -format
#./start-all.sh

모든 서비스 프로 세 스 와 PID 보기

#/usr/local/hadoop/jdk/bin/jps
5147 Jps
2460 TaskTracker
2176 DataNode
2276 SecondaryNameNode
2077 NameNode
2350 JobTracker

검출
업로드/usr/local/hadop/conf/to input/

#cd /usr/local/hadoop
#bin/hadoop fs -put conf input
#bin/hadoop fs -ls
     drwxr-xr-x   - root supergroup          0 2014-03-08 03:22 /user/root/input

outpot/  목차

#bin/hadoop jar hadoop-examples-1.1.2.jar grep input output 'dfs[a-z.]+'
#bin/hadoop fs -ls
#bin/hadoop fs -cat output/*         #  output  
1    dfs.replication
1    dfs.server.namenode.
1    dfsadmin

Hadoop 중요 한 포트:1.Job Tracker 관리 인터페이스:500302.HDFS 관리 인터페이스:500703.HDFS 통신 포트:90004.MapReduce 통신 포트:9001 
1.HDFS 인터페이스        http://localhost:500702. MapReduce 관리 인터페이스        http://holocalhost:50030
HDFS:
      NameNode  ：관리 노드
     DataNode   ：데이터 노드
     Secondary Namenode:데이터 원본 정보 백업 정리 노드
MapReduce:
       JobTracker  ：작업 관리 노드
       Tasktracker  ：작업 실행 노드