Ubuntu 에 Hadoop 2. x 4 Multi - node cluster 기본 설정 사용

이번 에는 여러 대의 가상 컴퓨터 를 준비 해서 분포 식 Hadoop 을 설치 합 니 다. 공식 문서:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
Hadoop 의 노드 는 두 가지 로 나 뉘 는데 그것 이 바로 masters 와 slaves 이다.
masters 는 두 대의 기 계 를 분리 해 야 합 니 다: NameNode 와 ResourceManager,
slaves 는 DataNode 와 Node Manager 를 포함 하고 있 으 며, 문서 에 서 는 반드시 서로 배척 해 야 한다 고 말 하지 않 았 다.
다음은 YARN 의 구성 도 입 니 다. YARN 은 Hadoop 시스템 의 일부분 일 뿐 HDFS 가 포함 되 어 있 지 않 습 니 다.
HDFS 정보 참조:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
현재 hadop 을 설치 하고 기본 설정 을 합 니 다. 앞 에 64 bit 의 Hadoop 을 직접 컴 파일 했 기 때문에 지금 가 져 와 서 사용 할 수 있 습 니 다.
여러분 의 편 의 를 위해 공 개 된 gitlab 프로젝트 에 컴 파일 된 것 을 놓 았 습 니 다.https://gitlab.com/hadoop/learn
우선 가상 머 신 Ubuntu 12.04.4 server 를 준비 하고, host name: hd1, IP: 192.168.1.71
그리고 Ubuntu 12.04 에서 Hadoop 2.2.0 을 사용 하 는 사용자 권한 설정 을 참고 하 세 요.
상응하는 설정 을 하 다.그러나 hadop 의 설치 패 키 지 를 다운로드 하지 마 십시오. 컴 파일 된 64 bit 를 / usr / local 디 렉 터 리 에 복사 하면 됩 니 다. hadop 으로 이름 을 바 꿀 수 있 습 니 다.
그리고 Ubuntu 12.04 에서 Hadoop 2.2.0 2 를 사용 하여 single node server 를 설정 합 니 다.
환경 변 수 를 설정 하고 / usr / local / hadop / etc / hadop / hadop - env. sh 파일 을 수정 한 후 종료 후 hduser 로 로그 인 합 니 다.
아래 파일 을 수정 하 겠 다 는 글 이 있 습 니 다. 하지만 확실 하지 않 습 니 다. 먼저 여기에 기록 하고 수정 하지 않 아 도 됩 니 다. 만약 프로그램 이 hduser 사용자 신분 에서 실행 된다 면 이미 정확 한 JAVA 가 있 을 것 입 니 다.HOME 환경 변수 입 니 다.

Add JAVA_HOME to libexec/hadoop-config.sh at beginning of the file
hduser@solaiv[~]#vi /opt/hadoop-2.2.0/libexec/hadoop-config.sh
….
export JAVA_HOME=/usr/local/jdk1.6.0_18
….

/ usr / local / hadop / etc / hadop / hadop - env. sh 파일 에서
추천 설정 JAVAHOME, 이런 말 이 있어 요.
4. 567913. 제 환경 변 수 는 이미 정확하게 설정 되 었 고 모든 가상 컴퓨터 가 똑 같 기 때문에 저 는 여기 서 변경 할 필요 가 없다 고 생각 합 니 다.
hadop 에서 사용 할 임시 디 렉 터 리 만 들 기

# The only required environment variable is JAVA_HOME.  All others are                                                                            
# optional.  When running a distributed configuration it is best to                                                                               
# set JAVA_HOME in this file, so that it is correctly defined on                                                                                  
# remote nodes.                                                                                                                                   

# The java implementation to use.                                                                                                                 
export JAVA_HOME=${JAVA_HOME}

나중에 각 server 를 만 들 고 이 VM 에서 복 제 됩 니 다.