Linux 학습-Hadoop 빠 른 입문

Hadoop 설치
1.설치 전제

JavaTM 1.5.x,설치 해 야 합 니 다.Sun 회사 가 발행 하 는 자바 버 전 을 선택 하 는 것 을 권장 합 니 다

ssh 는 원 격 Hadoop 데 몬 을 Hadoop 스 크 립 트 로 관리 할 수 있 도록 sshd 가 계속 실행 되도록 설치 하고 보증 해 야 합 니 다

2.Hadoop 클 러 스 터 를 실행 하 는 준비 작업

다운 로드 된 Hadoop 발행 판 을 압축 해제 합 니 다

conf/hadop-env.sh 파일 을 편집 하려 면 최소한 JAVAHOME 는 자바 설치 루트 경 로 를 설정 합 니 다.

다음 명령 을 시도 합 니 다:$bin/hadop 은 hadop 스 크 립 트 의 사용 문 서 를 표시 합 니 다

현재 아래 세 가지 지원 모드 중 하나 로 Hadoop 클 러 스 터 를 시작 할 수 있 습 니 다.
단일 기기 모드
위 분포 식 모델
완전 분포 식 모델
3.단기 모드 의 조작 방법:
기본적으로 Hadoop 은 비분 포식 모드 로 실행 되 는 독립 된 자바 프로 세 스 로 설정 되 어 있 습 니 다.이것 은 디 버 깅 에 매우 도움 이 된다.다음 인 스 턴 스 는 압축 해 제 된 conf 디 렉 터 리 를 입력 으로 복사 하여 주어진 정규 표현 식 과 일치 하 는 항목 을 찾 아 표시 합 니 다.출력 을 지정 한 output 디 렉 터 리 에 기록 합 니 다.

$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

4.의사 분포 식 모드 의 조작 방법:
Hadoop 은 단일 노드 에서 이른바 의사 분포 식 모드 로 실행 할 수 있 습 니 다.이 때 모든 Hadoop 데 몬 은 독립 된 자바 프로 세 스 로 실 행 됩 니 다.4.1 설정 은 다음 과 같은 conf/hadop-site.xml 을 사용 합 니 다.

<configuration>
  <property>
    <name>fs.default.namename>
    <value>localhost:9000value>
  property>
  <property>
    <name>mapred.job.trackername>
    <value>localhost:9001value>
  property>
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
configuration>

4.2 비밀번호 면제 ssh 설정 암 호 를 입력 하지 않 고 ssh 로 localhost 에 로그 인 할 수 있 는 지 확인 합 니 다.

$ ssh localhost

암 호 를 입력 하지 않 으 면 ssh 로 localhost 에 로그 인 할 수 없습니다.다음 명령 을 수행 하 십시오:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.3 새로운 분포 식 파일 시스템 포맷 을 실행 합 니 다.

$ bin/hadoop namenode -format

Hadoop 데 몬 시작:

$ bin/start-all.sh

NameNode 와 JobTracker 의 네트워크 인 터 페 이 스 를 탐색 합 니 다.주 소 는 기본적으로 다음 과 같 습 니 다.
NameNode - http://localhost:50070/ JobTracker - http://localhost:50030/ 입력 파일 을 분산 파일 시스템 으로 복사 합 니 다:

$ bin/hadoop fs -put conf input

발행 판 에서 제공 하 는 예제 프로그램 을 실행 합 니 다:

$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

출력 파일 보기:출력 파일 을 분포 식 파일 시스템 에서 로 컬 파일 시스템 으로 복사 합 니 다.

$ bin/hadoop fs -get output output 
$ cat output/*

또는 분포 식 파일 시스템 에서 출력 파일 보기:

$ bin/hadoop fs -cat output/*

모든 작업 이 완료 되면 데 몬 을 중단 합 니 다:

$ bin/stop-all.sh

5.완전 분포 식 모드 의 조작 방법
아래 링크 참조:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html