hdfs 배치

Hbaes 설치 배치
설치 준비: 
1. jre-7-linux-x64.rpm (http://www.oracle.com/technetwork/java/javase/downloads/java-se-jre-7-download-432155.html) 2. cloudera-cdh-4-0  (http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm)     
3./etc/hosts 파일 업데이트 hbase[X].test.exmple.com 본 컴퓨터 도 127.0.0.1 hbasex.test.example.com 을 사용 하지 마 십시오.
4.  ssh key 는 NameNode(secondary name node)에서 ssh key[ssh-keygen-t rsa]를 생 성하 고 공개 키 를 클 러 스 터 의 다른 기계 에 추가 합 니 다.
5. NTP 설정 * * * * * /usr/sbin/ntpdate ntpserver && /sbin/hwclock -w
HDFS 설치 배치
기계 역할 및 설치 할 가방(https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation)
                   역할.                            설치 패키지
hbase1   NameNode              hadoop-hdfs-namenode
hbase2   JobTracker             hadoop-0.20-mapreduce-jobtracker
hbase3   DataNode               hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode
hbase4   DataNode               hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode
HDFS 배치(https://ccp.cloudera.com/display/CDH4DOC/Deploying+HDFS+on+a+Cluster#DeployingHDFSonaCluster-CustomizingConfigurationFiles）
1. 기본 프로필 을 우리 디 렉 터 리 로 복사 합 니 다. sudo cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.my_cluster
2.디 렉 터 리 를 설정 디 렉 터 리 로 설정 다음 설정 단계 에서 수 정 된 파일 은 모두 conf.mycluster 중

sudo alternatives --verbose --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50 

sudo alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster

3.코어 사이트.xml 설정 그리고 scp 는 모든 다른 군집 몇 시 에 올 라 갑 니까? 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hbase1.test.example.com:9000/</value>
</property>

<property> 
  <name>fs.trash.interval</name>  #       shell        .Trash  
  <value>1440</value>   #      
</property> 

<property> 
  <name>fs.trash.checkpoint.interval</name> 
  <value>0</value> 
</property>
</configuration> 

 4.hdfs-site.xml 설정
    a. 비 datanode 에서: 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
      <name>dfs.datanode.max.xcievers</name>
      <value>4096</value>
</property>

<property>
      <name>dfs.permissions.superusergroup</name>
      <value>hadoop</value>
</property>
</configuration>

    b.datanode 에 a 를 바탕 으로 속성 을 하나 더 추가 합 니 다.

<property> 
 <name>dfs.datanode.data.dir</name>
 <value>/data/1/dfs/dn</value>  #  data node             hdfs:hdfs 
</property> 

    c.NameNode a 에 속성 추가

<property>
  <name>dfs.namenode.name.dir</name> 
  <value>/data/1/dfs/nn</value>   #  name node             hdfs:hdfs  700
</property>    

5. 포맷 이름 노드

sudo -u hdfs hadoop namenode -format  (     hdfs         )

6. MRv 1 배치(https://ccp.cloudera.com/display/CDH4DOC/Deploying+MapReduce+v1+%28MRv1%29+on+a+Cluster) 
    a.mapred-site.xml 설정

<?xml version="1.0"?> 

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<configuration> 
<property> 
  <name>mapred.job.tracker</name> 
  <value>hbase2.test.example.com:8021</value> 
</property> 

<property> 
  <name>mapred.local.dir</name> 
  <value>/data/1/mapred/local</value>   #  job tracker         mapred:hadoop
</property> 

<property> 
  <name>mapreduce.jobtracker.restart.recover</name> 
  <value>true</value> 
</property> 
</configuration> 

    b.상기 파일 scp 를 다른 클 러 스 터 노드 에
    c.각 노드 에 해당 하 는 서비스 for service in/etc/init.d/hadop-hdfs-*를 시작 합 니 다.do sudo $service start; done
    d.hdfs 에 디 렉 터 리/tmp 만 들 기

sudo -u hdfs hadoop fs -mkdir /tmp

sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

     e.MapReduce/var 디 렉 터 리 만 들 기

sudo -u hdfs hadoop fs -mkdir /var

sudo -u hdfs hadoop fs -mkdir /var/lib

sudo -u hdfs hadoop fs -mkdir /var/lib/hadoop-hdfs

sudo -u hdfs hadoop fs -mkdir /var/lib/hadoop-hdfs/cache

sudo -u hdfs hadoop fs -mkdir /var/lib/hadoop-hdfs/cache/mapred

sudo -u hdfs hadoop fs -mkdir /var/lib/hadoop-hdfs/cache/mapred/mapred

sudo -u hdfs hadoop fs -mkdir /var/lib/hadoop-hdfs/cache/mapred/mapred/staging

sudo -u hdfs hadoop fs -chmod 1777 /var/lib/hadoop-hdfs/cache/mapred/mapred/staging

sudo -u hdfs hadoop fs -chown -R mapred /var/lib/hadoop-hdfs/cache/mapred

    f.생 성 성공 여부 보기 sudo -u hdfs hadoop fs -ls -R /
    g.디 렉 터 리 생 성 

sudo -u hdfs hadoop fs -mkdir /tmp/mapred/system   
sudo -u hdfs hadoop fs -chown mapred:hadoop /tmp/mapred/system

    h.tasktracker 노드 에서 시작 sudo service hadoop-0.20-mapreduce-tasktracker start
    i.jobtracker 노드 에서 시작 sudo service hadoop-0.20-mapreduce-jobtracker start