스파크 프로젝트 실전 - ZooKeeper 클 러 스 터 설치

ZooKeeper 홈 페이지 주소:http://zookeeper.apache.org/
cdh 버 전 ZooKeeper 다운로드 주소:http://archive.cloudera.com/cdh5/cdh/5/
ZooKeeper 는 야후 가 만 든 오픈 소스 의 분포 식 조정 서비스 로 Google Chubby 의 오픈 소스 입 니 다.분포 식 응용 프로그램 은 ZooKeeper 를 바탕 으로 데이터 발표 / 구독, 부하 균형, 명명 서비스, 분포 식 조율 / 알림, 클 러 스 터 관리, Master 선거, 설정 유지, 이름 서비스, 분포 식 동기 화, 분포 식 잠 금 과 분포 식 대기 열 등 기능 을 실현 할 수 있 습 니 다.
다운로드
우선 해당 버 전의 tar. gz 를 다운로드 해 야 합 니 다.
다시 업로드 하 다
WinSCP 를 사용 하여 방금 다운로드 한 tar. gz 를 sparkprocject 1 의 / usr / local 에 업로드 합 니 다.
Spark项目实战-ZooKeeper集群安装_第1张图片
삼 해 압 
tar - zxvf zookeeper - 3.4.5 - cdh 5.3.6. tar. gz 명령 으로 압축 을 풀 고 뮤 직 비디오 명령 으로 이름 을 바 꾼 다음 tar. gz 가방 을 삭제 합 니 다.
Spark项目实战-ZooKeeper集群安装_第2张图片
4 설정 환경 변수
 vi / etc / profile, 설정 이 끝 난 후에 저 희 는 source 명령 을 사용 하여 설정 파일 을 사용 합 니 다.

5 설정 zoo. cfg
Spark项目实战-ZooKeeper集群安装_第3张图片
6. zk 노드 표지 설정

7. zk 군집 구축 
1. 다른 두 노드 에서 상기 절차 에 따라 ZooKeeper 를 설정 하고 scp 를 사용 하여 zk 와 / etc / profile 을 sparkprocject 2 와 sparkprocject 3 에 복사 하면 됩 니 다.
2. 유일한 차이 점 은 sparkprocject 2 와 sparkprocject 3 의 표지 번 호 를 각각 1 과 2 로 설정 하 는 것 이다.
#   
scp -r zk root@sparkproject2:/usr/local
scp -r /etc/profile root@sparkproject2:/etc
#   sparkproject2   myid
vi myid

#       sparkproject3  
#   :     source        

8. ZooKeeper 군집 시작
1. 각각 세 대의 기계 에서 실행: zkServer. sh start.
2. ZooKeeper 상태 확인: zkServer. sh status, leader 하나, follower 두 개.



3. jps: 세 노드 에 QuromPeerMain 프로 세 스 가 있 는 지 확인 합 니 다.

마지막 으로 블 로 거들 은 ZooKeeper 를 시작 할 때 시작 에 실패 한 적 이 있다.실패 에 부 딪 히 면 어떻게 구 하 는 지, 어떻게 해결 방법 을 찾 는 지 알 아야 한 다 는 것 이다.하지만 가장 중요 한 첫 단 계 는 일 지 를 먼저 보 는 것 이다.기본 ZooKeeper 로그 입력 경 로 는 ZooKeeper 서 비 스 를 시작 하 는 경로 입 니 다.

좋은 웹페이지 즐겨찾기