Hadoop 학습 노트(2) - 데이터 노드 추가 및 HDFS 원격 마운트

1. 새로운 데이터 노드 추가
namenode 서버의hadoop 프로필slave를 수정하고 이 파일에 그룹에 새로 추가합니다
서버 이름 (hostname) 과/etc/hosts 파일에 해당하는 해결 항목을 추가합니다. 내용은 다음과 같습니다.

  
  
  
  

   
   
   
   
[root@namenode~]# cat /etc/hosts 
   
   
   
   
 
   
   
   
   
127.0.0.1       localhost.localdomain   localhost 
   
   
   
   
 
   
   
   
   
::1             namenode        localhost6.localdomain6 localhost6 
   
   
   
   
 
   
   
   
   
192.168.2.9     namenode 
   
   
   
   
 
   
   
   
   
192.168.5.55   nagios-server 
   
   
   
   
 
   
   
   
   
192.168.2.4     datanode 
  
  
  
  

수정이 완료되면 전체 Hadoop 파일의 디렉터리와 JDK 디렉터리를 새 노드로 복사합니다. (여기는 Datanode입니다. 단번에 datanode로 표시합니다.)

  
  
  
  

   
   
   
   
[root@namenode ~]# scp –pr /opt/hadoop 192.168.2.4:/opt/hadoop 
   
   
   
   
[root@namenode ~]# scp –pr /usr/java 192.168.2.4:/usr/java 
  
  
  
  

datanode 위의/etc/hosts 파일을 다음과 같이 수정합니다.

  
  
  
  

   
   
   
   
[root@datanode ~]# cat /etc/hosts 
   
   
   
   
 
   
   
   
   
127.0.0.1        localhost.localdomain   localhost 
   
   
   
   
 
   
   
   
   
::1              datanode        localhost6.localdomain6 localhost6 
   
   
   
   
 
   
   
   
   
192.168.2.9      namenode 
   
   
   
   
 
   
   
   
   
192.168.5.55    nagios-server 
   
   
   
   
 
   
   
   
   
192.168.2.4      datanode 
  
  
  
  

datanode 서버의 환경 변수를 설정하여/etc/profile 파일을 쉽게 쓸 수 있도록 합니다. (사용자의/home/USER/.bash_profile 또는/root/.bash_profile 파일에도 쓸 수 있습니다.)
 

  
  
  
  

   
   
   
   
export OS_ARCH=amd64 
   
   
   
   
export OS_BIT=64 
   
   
   
   
export JAVA_HOME=/usr/java/jdk1.6.0_14 
   
   
   
   
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar 
   
   
   
   
export ANT_HOME=/usr/local/ant 
   
   
   
   
export PATH=$JAVA_HOME/bin:$PATH 
   
   
   
   
export ZOOKEEPER_INSTALL=/opt/hadoop/zookeeper 
   
   
   
   
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin 
   
   
   
   
export HADOOP_HOME=/opt/hadoop/hadoop 
   
   
   
   
export HADOOP_INSTALL=/opt/hadoop/hadoop 
   
   
   
   
export PATH=$PATH:$HADOOP_HOME/bin 
   
   
   
   
export LANG=zh_CN.GBK 
   
   
   
   
export HIVE_HOME=/opt/hadoop/hive 
   
   
   
   
export PATH=$HIVE_HOME/bin:$PATH:$ANT_HOME/bin 
   
   
   
   
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib  
  
  
  
  

이 작업을 완료하면 Datanode 서버에서 HDFS를 시작합니다.

  
  
  
  

   
   
   
   
[root@datanode ~]#start-dfs.sh 
  
  
  
  

시작 후 이 노드는 이전의hadoop 그룹에 자동으로 가입합니다.
 
2. WebDav
WebDav가 제공하는 네트워크 저장소를 마운트하려면 세 개의 패키지를 설치해야 합니다. 각각fuse,neon,davfs2
1. 컴파일 설치fuse

  
  
  
  

   
   
   
   
[root@datanode src]# tar fvxz fuse-2.8.5.tar.gz 
   
   
   
   
[root@datanode src]# cd fuse-2.8.5 
   
   
   
   
[root@datanode fuse-2.8.5]# ./configure 
  
  
  
  

만약 컴파일이 끝난 후에 정상적으로 컴파일되었는지 확인하지 못하면, 명령으로 echo $를 사용할 수 있습니까?반환값 확인을 가져오려면 0은 정상이고 나머지는 오류가 있음을 나타냅니다.

  
  
  
  

   
   
   
   
[root@datanode fuse-2.8.5]# make && make install 
  
  
  
  

2, 컴파일 설치 neon

  
  
  
  

   
   
   
   
[root@datanode src]# tar fvxz neon-0.29.6.tar.gz
   
   
   
   
[root@datanode src]# cd neon-0.29.6
   
   
   
   
[root@datanode neon-0.29.6]# ./configure 
   
   
   
   
[root@datanode neon-0.29.6]# make && make install
  
  
  
  

3. 컴파일 설치davfs2

  
  
  
  

   
   
   
   
[root@datanode src]# tar fvxz davfs2-1.4.6.tar.gz 
   
   
   
   
[root@datanode src]# cd davfs2-1.4.6 
   
   
   
   
[root@datanode davfs2-1.4.6]# ./configure 
   
   
   
   
[root@datanode davfs2-1.4.6]# make && make install
  
  
  
  

4. 웹dav 마운트
hdfs를 마운트하려면 명령 마운트를 사용해야 합니다.davfs, 이 명령을 사용하려면 davfs2 사용자가 필요합니다. 따라서 이 사용자를 만듭니다.

  
  
  
  

   
   
   
   
[root@datanode~]# useradd davfs2 
  
  
  
  

이후 마운트 시작:

  
  
  
  

   
   
   
   
[root@datanode ~]# mount.davfs http://192.168.2.9:8080/hdfs-webdav /hdfs 
   
   
   
   
Please enter the username to authenticate with server 
   
   
   
   
http://192.168.2.9:8080/hdfs-webdav or hit enter for none. 
   
   
   
   
Username: davfs2 
   
   
   
   
Please enter the password to authenticate user davfs2 with server 
   
   
   
   
http://192.168.2.9:8080/hdfs-webdav or hit enter for none. 
   
   
   
   
  Password:  
  
  
  
  

완성되면 마운트 포인트에 들어가 볼 수 있습니다.여러분의 성공을 기원합니다.
 
Hadoop 학습지 (1)