hadop 단기 판 구축 도문 상세 설명
13055 단어 hadoop
1. ubuntu 10.10 설치 성공 (개인 적 으로 시스템 설치 에 너무 많은 시간 을 들 일 필요 가 없다 고 생각 합 니 다. 우 리 는 기 계 를 설치 하기 위해 기 계 를 설치 하 는 것 이 아 닙 니 다)
2. jdk 설치 성공 (jdk 1.6.0 23for linux 버 전, 도해 설치 과정http://freewxy.iteye.com/blog/882784 ）
3, 다운로드 hhadoop 0.21.0. tar. gz (http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ ）
hadop 설치
1. 우선 hadop 0.21.0. tar. gz 를 usr 아래 local 폴 더 에 복사 합 니 다. (sudo cp hadop 경로 / usr / local) 그림 1 참조.
2. local 디 렉 터 리 에 들 어가 hadop 0.21.0. tar. gz 를 압축 해제 합 니 다. 그림 2 참조
3. 편리 한 관리 와 hadop 버 전 업 그 레이 드 를 위해 압축 을 푼 폴 더 를 hadop 으로 바 꿉 니 다. 그림 3 참조.
쉽게 볼 수 있 습 니 다. hadop 의 그룹 과 같은 이름 의 사용 자 를 추가 합 니 다.
1. hadop 이라는 사용자 그룹 을 만 듭 니 다. 그림 4 참조
2. hadop 이라는 사용 자 를 만 들 고 hadop 그룹 으로 돌아 갑 니 다. 그림 5 (일부 정 보 는 작성 하지 않 고 enter 키 를 누 르 면 됩 니 다) 그림 5 참조.
3. (1) 사용자 권한 추가: etc 의 sudoers 파일 을 열 고 다음 (2) 명령 을 추가 합 니 다. 그림 6 참조.
-------------------------------------------------------------------------------------------------------------------------------- (다른 방법 은 루트 사용자 아래로 전환 한 다음 에 sudoers 의 권한 을 수정 하 는 것 입 니 다. 그러나 이러한 조작 은 반드시 신중 해 야 합 니 다. 권한 을 수정 한 후에 파일 을 읽 기 전용 으로 바 꿔 야 합 니 다. 그렇지 않 으 면 비극 이 라 고 합 니 다. 우 리 는 한 표 가 여러 번 죽 었 습 니 다)
(2) root ALL = (ALL) ALL 아래 에 다음 과 같은 문 자 를 추가 합 니 다.
hadoop ALL = (ALL) ALL
그림 7
-----------------------------------------------------------------------------
---------------------------------------------------------------------------------------------- (/ etc / sudoers 파일 은 sudo 명령 이 실 행 될 때 실행 권한 을 심사 하 는 데 사 용 됩 니 다)
실행 명령: $: sudo chown hadop / usr / local / hadop (hadop 폴 더 의 권한 을 hadop 사용자 에 게 부여)
ssh 설치 (인터넷 필요): (ssh 이해:http://freewxy.iteye.com/blog/910820）
1. openssh server 설치: 그림 8
2. ssh - key 를 만 들 고 rsa 입 니 다. 그림 9 참조
키 의 저장 경 로 를 입력 하 십시오. 그림 10 참조.
3. ssh - key 를 수신 목록 에 추가 하고 이 ssh - key 를 사용 합 니 다. 그림 11 참조
4. ssh 의 설정 을 검증 합 니 다. 그림 12 참조
hadop 설정
0. hadop 파일 아래 에 무엇이 있 는 지 탐색 합 니 다. 그림 13 참조
1. conf / hadop - env. sh 를 엽 니 다. 그림 14 참조
conf / hadop - env. sh 설정 (찾 은 \ # export JAVA HOME =..., 제거 \ #, 그리고 이 컴퓨터 jdk 의 경 로 를 더 하면 / etc / profile 에서 찾 을 수 있 습 니 다. 이 컴퓨터 는 / usr / lib / jvm / java - 6 - sun) 입 니 다. 그림 15 참조
---------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------
2 、 conf / core - site. xml 열기
설정, 다음 내용:
자바 코드
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
3. conf 디 렉 터 리 에 있 는 mapred - site. xml 열기
다음 내용 설정:
자바 코드
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>실행 테스트:
1. 사용자 변경, namenode 포맷, 그림 18 참조
그림 19 참조.
그림 20 과 같이 실행 하고 그림 18 과 같이 다시 실행 합 니 다.
2. hadop 시작, 그림 21 참조
3. hadop 이 성공 적 으로 시작 되 었 는 지 검증 합 니 다. 그림 22 참조
자체 wordcount 예 실행 (jidong 아)
1. wordcount 가 필요 한 파일 을 준비 합 니 다. 그림 23 (test. txt 에 문자열 을 마음대로 입력 하고 저장 하고 종료)
------------------------------------------------------------------------------------------- 2. dfs 파일 시스템 의 firstTest 디 렉 터 리 에 이전 테스트 파일 을 업로드 합 니 다. 그림 24 (dfs 에 firstTest 디 렉 터 리 가 포함 되 어 있 지 않 으 면 같은 이름 의 디 렉 터 리 를 자동 으로 만 듭 니 다. 명령 사용: bin / hadop dfs - ls 는 dfs 파일 시스템 에 있 는 디 렉 터 리 를 봅 니 다)
3. wordcount 를 실행 합 니 다. 그림 25 (firstest 의 모든 파일 에 대해 wordcount 를 실행 하고 통계 결 과 를 result 폴 더 에 출력 합 니 다. result 폴 더 가 존재 하지 않 으 면 자동 으로 생 성 합 니 다)
4. 결 과 를 본다. 그림 26 참조
서비스 닫 기: bin / stop - all. sh
단판 완성 ~ ~
좋은 웹페이지 즐겨찾기
