Ubuntu 서버 12.04 hadop 클 러 스 터 환경 구축 - VirtualBox 기반

1 . Oracle VM VitualBox 다운로드 및 설치
http://www.oracle.com/technetwork/server-storage/virtualbox/downloads/index.html
 (VirtualBox-4.2.6-82870-Win.exe)
2.  Linux 시스템 Ubuntu Server 버 전 다운로드
http://www.ubuntu.com/download/server
  （ubuntu-12.04.2-server-i386.iso）
3.  Virtual Box 에서 세 대의 Liux 호스트 를 가상 하여 각각 이름 을 지 었 습 니 다.
feixu-master
feixu-slave1
feixu-slave2
VirtualBox 에 서 는 모든 VM 의 네트워크 를 Bridge Adapter / Host Only 로 설정 해 야 합 니 다. Bridge 연결 방식 은 외부 네트워크 를 연결 할 수 있 고 Host Only 는 랜 에 해당 하 며 외부 네트워크 에 접근 할 수 없습니다.
4.  master 와 slave 를 위해 각각 hadop 사용자 와 사용자 그룹 을 만 듭 니 다.
hadop 사용자 그룹 만 들 기:

 
   
  sudo addgroup hadoop
 
   
然后创建hadoop用户：
 
   
 
   
 sudo adduser -ingroup hadoop hadoop
 
   
给hadoop用户添加权限，打开/etc/sudoers文件：
 
   
 
   
 sudo vi f /etc/sudoers
 
   
在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL
 
   
 
   
 hadoop  ALL=(ALL:ALL) ALL
 
   
5.  修改master和slave机器名
 
   
打开/etc/hostname文件：
 
   
 
   
 sudo vi /etc/hostname
 
   
6.  修改master和slave的hosts文件
 
   
 
   
 sudo vi  /etc/hosts
 
   
在后面添加内容为：
 
   
 
   
 192.168.1.100 feixu-master
 
   
  192.168.1.101 feixu-slave1
 
   
  192.168.1.102 feixu-slave2
 
   
注：hosts文件用于ip地址与主机名的映射，这样就可以通过主机名直接访问机器，不用通过IP。 每次IP地址变动的时候都需要改动此文件。
 
   
7.  为master和slave安装ssh服务和建立ssh无密码登陆环境
 
   
执行下面的命令来安装：
 
   
 
   
 sudo apt-get install ssh openssh-server
 
   
采用rsa方式创建ssh-key
 
   
 
   
 ssh-keygen -t rsa -P ""
 
   
(注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的)
 
   

 
   
进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件，完成下面的命令后，文件会自动生成出来；
 
   
 
   
 cd ~/.ssh
 
   
  cat id_rsa.pub >> authorized_keys
 
   
为每一台机器做完以上步骤后，可以用以下命令测试，正确的应该是无需密码直接访问本机
 
   
  ssh feixu-master;   ssh  feixu-slave1;   ssh feixu-slave2
  
마스터 키 idrsa. pub 파일 을 slave 기기 의 인증 파일 에 추가 합 니 다.
 cat master. id_rsa.pub >> slave. authorized_keys 
master 기기 에서 slave 에 접근 하 는 것 을 테스트 합 니 다. 정확 한 것 은 비밀번호 없 이 slave 에 직접 접근 하 는 것 입 니 다.
ssh  feixu-slave1; ssh feixu-slave2 
8.  master 와 slave 를 위 한 Oracle JDK 설치
다음 명령 을 순서대로 실행 합 니 다:
  sudo apt-get install python-software-properties  sudo apt-get install apt-file && apt-file update  sudo apt-get purge openjdk*  sudo apt-get install software-properties-common  #네트워크 가 proxy 뒤에 있 지 않 으 면 export 와 - E 의 인 자 를 줄 일 수 있 습 니 다.
   
export 
 http_proxy 
= 
http 
: 
//: 
   
export 
 https_proxy 
= 
http 
: 
//: 
  sudo -E add-apt-repository ppa:webupd8team/java  sudo apt-get update  sudo vim /etc/apt/apt.conf  #파일 에 http 와 https 의 프 록 시 설정 이 없 으 면 추가 합 니 다. 물론 프 록 시 로 인터넷 에 접속 하지 않 으 려 면 설정 하지 마 세 요.  Acquire::http::proxy "http://:/";  Acquire::https::proxy "https://:/";  sudo apt-get install oracle-java7-installer 
9.  master 와 slave 를 위 한 Hadoop 설치
FTP 서 비 스 를 설치 하면 window 에서 hadop 을 다운로드 한 후 ftp 를 통 해 가상 컴퓨터 로 전송 할 수 있 습 니 다.
읽 고 쓸 수 있 도록 FTP 프로필 수정
 sudo vi /etc/vsftpd.conf 
FTP 서비스 다시 시작
cd /srv/ftp;   sudo /etc/init.d/vsftpd  restart 
hadop - 1.2.1. tar. gz 를 다운로드 하여 설치 디 렉 터 리 / usr / local / 아래로 복사 합 니 다.
sudo cp hadoop-1.2.1.tar.gz /usr/local/ 
압축 풀기 hadop - 1.2.1. tar. gz
cd /usr/local 
  sudo tar -zxf hadoop-1.2.1..tar.gz 
압축 해제 한 폴 더 를 hadop 으로 변경 합 니 다.
sudo mv hadoop-1.2.1 hadoop 
이 hadop 폴 더 의 주 사용 자 를 hadop 으로 설정 합 니 다.
sudo chown -R hadoop:hadoop hadoop 
hadop / conf / hadop - env. sh 파일 열기
sudo vim hadoop/conf/hadoop-env.sh 
conf / hadop - env. sh 설정 (\ # export JAVA HOME =..., 제거 \ #, 그리고 이 컴퓨터 jdk 경로 추가)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle 
conf / core - site. xml 파일 열기
sudo vim hadoop/conf/core-site.xml 
다음 편집:
    
                                                            
                                                        
    
       
  fs.default.name       
  hdfs://master:9000        
        
    
conf / mapred - site. xml 파일 열기
sudo vim hadoop/conf/mapred-site.xml 
다음 편집:
    
                                                      
                                                      
           
             
      mapred.job.tracker       
      master:9001        
            
        
conf / hdfs - site. xml 파일 열기
sudo vim hadoop/conf/hdfs-site.xml 
다음 편집:
    
    
dfs.name.dir    
/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2    
    
    
dfs.data.dir    
/usr/local/hadoop/data1,/usr/local/hadoop/data2    
    
    
dfs.replication    
2    
    
  
conf / masters 파일 을 열 고 secondary namenode 의 호스트 이름 을 추가 합 니 다. master 를 입력 해 야 합 니 다.  
sudo vim hadoop/conf/masters 
conf / slaves 파일 을 열 고 slave 호스트 이름 으로 한 줄 씩 추가 합 니 다.
sudo vim hadoop/conf/slaves 
여기에 아래 의 내용 을 기입 하 시 오.
slave -1     
slave -2     
10. master 기기 에서 hadop 클 러 스 터 테스트
cd /usr/local/hadoop 
  cd /hadoop/bin   
  ./hadoop namenode -format  
모든 서 비 스 를 시작 하 는 명령:
bin/start-all.sh 
자신의 datanode 가 시작 되 었 는 지 확인 하기:
jps 
연결 시 namenode 에서 연결 상 태 를 볼 수 있 습 니 다:
bin/hadoop dfsadmin -report 
인터넷 주소 로 바로 들 어 갈 수도 있 습 니 다.
master:50070