linux 에서 JDK 설치 부터 ssh 설치, hadop 단기 위조 분포 식 배치 까지

환경: ubuntu 10.10  JDK1.6.0.27  hadoop 0.20.2
          1. ubuntu 아래 JDK 설치:
1. jdk - 6u27 - linux - i586. bin 다운로드
2. / usr / java 로 복사 하여 파일 의 조작 권한 설정
3. $. / jdk - 6u27 - linux - i586. bin 설치 시작
4. 환경 변수 vi / etc / profile 을 파일 마지막 에 추가
   JAVA_HOME=/usr/Java/jdk1.6.0_27    PATH=$JAVA_HOME/bin:$PATH    CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar    export PATH JAVA_HOME CLASSPATH
5. 사용자 가 설치 한 JDK 를 기본 JDK 로 설정 하고 실행
  $ update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_12/bin/java 300   $ update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_12/bin/javac 300
  $ update-alternatives --config java
6. 자바 - version 을 입력 하여 성공 적 으로 설치
2. ubuntu 아래 설치 ssh:
1. $ sudo apt-get install openssh-server
2. ssh 시작    /etc/init.d/ssh start
3. $ps - e | grep ssh sshserver 시작 여 부 를 검증 합 니 다.
4. 암호 화 면제 
       $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa        $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3. ubuntu 아래 hadop 설치:
1. hadop - 0.20.2. tar. gz 를 다운로드 하여 / usr / hadop 다운로드 주소 에 놓 습 니 다.http://apache.etoak.com//hadoop/core/
2.  압축 풀기 $tar zxvf hadop - 0.20.2. tar. gz
3. hadop 프로필 수정
    conf/hadoop-env.sh  JAVA 수정HOME 옵션:
        export JAVA_HOME=/usr/java/jdk.1.6.0_27
4. 의사 분산 식 단기 설정
    conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>fs.default.name</name>
                  <value>hdfs://localhost:9000</value>
        </property>
</configuration>

conf/hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>dfs.replication</name>
                   <value>1</value>
         </property>
</configuration>

conf/mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
        <property>
                 <name>mapred.job.tracker</name>
                          <value>localhost:9001</value>
        </property>
</configuration>

5. hdfs 파일 시스템 만 들 기
    $ bin/hadoop namenode -format
6. hadop 시작    ssh 를 먼저 시작 해 야 합 니 다.  $ /etc/init.d/ssh start
    $ bin/hadoop start-all.sh
7. hadop 에서 test 디 렉 터 리 를 만 들 고 file1. txt file2. txt 를 만들어 몇 개의 단 어 를 기록 합 니 다.hadop / test 에서 테스트 파일 을 hadop 파일 시스템 에 업로드 합 니 다.
   $ bin/hadoop dfs -put ./test input
8. wordCount 실행 예
    $ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
9. 결 과 를 dfs 에서 복사
    $ bin/hadoop dfs -get output output
10. 결과 보기
    $ cat output / * 도 $bin / hadop dfs - cat output / * 를 직접 볼 수 있 습 니 다.
11. hadop 실행 중지
    $ bin/hadoop stop-all.sh
12. ssh - server 닫 기
    $  /etc/init.d/ssh stop