hbase 설치

1. zookeeper 설치
분포 식 hadop 을 설치 한 환경 에서 zookeeper - 3.4.5 를 계속 설치 합 니 다.
$ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz  
$ tar -xf zookeeper-3.4.5.tar.gz  
$ cp zookeeper-3.4.5/conf/zoo_sample.cfg zookeeper-3.4.5/conf/zoo.cfg   
zookeeper 설정 파일 수정:
$ vim zookeeper-3.4.5/conf/zoo.cfg  
다음 과 같이 수정 합 니 다.
tickTime=2000    
dataDir=/home/ruifeng.shan/zookeeper    
clientPort=2181    
initLimit=5    
syncLimit=2    
server.1=master:2888:3888    
server.2=node:2888:3888    
server.3=slave:2888:3888  
지정 한 dataDir 디 렉 터 리 에 새 파일 my id 를 만 들 고 지정 한 server 번 호 를 추가 합 니 다.예 를 들 어 hostname 이름 을 master 로 지정 한 설정 은 다음 과 같 습 니 다.
server.1=master:2888:3888  ，그래서 번호 가 1 일 거 예요.
zookeeper - 3.4.5 를 다른 기계 에 나 누 어 줍 니 다.그리고 해당 하 는 myid 파일 의 내용 을 이전에 지정 한 번호 로 수정 합 니 다.예 를 들 어 node 는 2 이 고, slave 는 3 이다.
zookeeper 서 비 스 를 각각 시작 합 니 다.모든 기계 에서 zookeeper - 3.4.5 디 렉 터 리 로 전환 하여 실행 합 니 다.
$bin/zkServer.sh start 
zookeeper 서 비 스 를 시작 할 수 있 습 니 다.
hbase - 0.96.0 설치
hadop - 2.2.0 과 일치 하기 위해 선택 한 hbase 버 전 은 0.96.0 입 니 다.
$ wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.0/hbase-0.96.0-hadoop2-bin.tar.gz  
$ tar -xf hbase-0.96.0-hadoop2-bin.tar.gz  
$ cd  hbase-0.96.0  
conf 설정 수정:
vim conf/hbase-env.sh  
 수정 하 다. JAVA_HOME：
# The java implementation to use.  Java 1.6 required.  
export  JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_37  
HBase 에서 zookeeper 를 사용 하 는 방식 을 수정 합 니 다:
# Tell HBase whether it should manage it's own instance of Zookeeper or not.  
export HBASE_MANAGES_ZK=false  
이 매개 변 수 는 기본적으로 true 입 니 다.hbase 에 zookeeper 를 따로 관리 하 라 는 뜻 입 니까?
설 치 된 기계 에 zookeeper 가 설치 되 어 있 고 이 zookeeper 는 여러 플랫폼 에서 공용 되 어 있다 면 이 매개 변 수 는 false 로 설정 해 야 합 니 다.
클 러 스 터 에 zookeeper 가 설치 되 어 있 지 않 고 hbase 만 zookeeper 를 사용 하고 있다 면 이 인 자 는 true 로 설정 해 야 합 니 다.
conf 디 렉 터 리 에 있 는 hbase - site. xml 파일 을 수정 합 니 다.내용 은 다음 과 같다.
  
  
hbase.rootdir  
hdfs://master:8089/hbase  
  
  
  
hbase.master  
hdfs://master:60000  
  
  
  
hbase.cluster.distributed  
true  
  
  
  
hbase.zookeeper.property.clientPort  
2181  
  
  
  
hbase.zookeeper.quorum  
master,node,slave  
  
  
  
hbase.zookeeper.property.dataDir  
/home/aaron/zookeeper  
  
  
  
hbase.client.scanner.caching  
200  
  
  
  
hbase.balancer.period  
300000  
  
  
  
hbase.client.write.buffer  
10485760  
  
  
  
hbase.hregion.majorcompaction  
7200000  
  
  
  
hbase.hregion.max.filesize  
67108864  
  
Maximum HStoreFile size. If any one of a column families' HStoreFiles has  
grown to exceed this value, the hosting HRegion is split in two.  
  
  
  
hbase.hregion.memstore.flush.size  
1048576  
  
Memstore will be flushed to disk if size of the memstore  
exceeds this number of bytes. Value is checked by a thread that runs  
every hbase.server.thread.wakefrequency.  
  
  
  
hbase.server.thread.wakefrequency  
30000  
Time to sleep in between searches for work (in milliseconds).  
Used as sleep interval by service threads such as log roller.  
  
  
  
그 중에서 hbase. rootdir 는 hadop 의 core - site. xml 파일 의 fs. default. name 의 값 과 일치 해 야 합 니 다.
hbase 의 master 와 regionserver 의 시 계 는 일치 해 야 합 니 다. 그렇지 않 으 면 regionserver 를 시작 할 때 다음 과 같은 오 류 를 보고 합 니 다.
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hadoop02,60020,1374576225508 has been rejected; Reported time is too far out of sync with master.  Time difference of 62062623ms > max allowed of 30000ms
이것 은 master 와 regionserver 사이 의 시간 오차 가 너무 커서 생 긴 것 이다.
해결 방법 1: 아래 매개 변 수 를 수정 합 니 다.
hbase.master.maxclockskew  
180000  
Time difference of regionserver from master  
이 매개 변 수 는 기본 값 이 30 000 (30 초) 입 니 다.
 해결 방법 2: ntpdate 동기 화 클 러 스 터 를 사용 하 는 시계
regionserver 파일 설정 수정:
이 파일 은 regionserver 의 기 계 를 지정 하 는 데 사 용 됩 니 다. 한 줄 한 줄, 보통 datanode 를 regionserver 로 사용 합 니 다.
$ vim conf/regionservers  
master
node
slave
backup - masters 설정:
$ vim conf/backup-masters  
master-backup
backup - masters 를 설정 하면 master 가 끊 은 후에 backup masters 를 자동 으로 시작 할 수 있 습 니 다.
메모: Hadoop - 2.2.0 을 호 환 하기 위해 서 는 hbase 의 lib 가방 에 있 는 내용 lib 가방 의 hadop - common - 2.1.0 - beta. jar 를 hadop - 2.2.0 / share / hadop / comon 디 렉 터 리 에 있 는 hadop - common - 2.2.0. jar 로 교체 해 야 합 니 다.
hbase 시작:
클 러 스 터 각 기기 에 ssh 암호 없 이 로그 인 하면 start - hbase. sh 를 사용 하여 전체 클 러 스 터 를 시작 할 수 있 습 니 다.
또는 모든 기기 에 daemon 스 크 립 트 를 사용 하여 시작 합 니 다 (hbase 디 렉 터 리 로 전환):
master 기기 에: bin / hbase - daemon. sh start master
regionserver 기기 에: bin / hbase - daemon. sh start regionserver
클 러 스 터 가 정상 인지 확인 하기:
master 모니터링 페이지 보기:
http://master:60010
전재 출처 를 밝 혀 주 십시오:http://blog.csdn.net/iAm333
HBase 의 Thrift 서버 시작

  ~ /hbase-0.94.2/bin/hbase-daemon.sh start thrift

hbase rest start
 hbase-daemon.sh start rest -p 8080
hbase-daemon.sh stop rest http://master:8080/version

hbase thrift start
hbase-deamon.sh start thrift -p port
hbase-deamon.sh stop thrift
hbase avro start -p
hbase-daemon.sh start avro -p
hbase-daemon.sh stop avro