Ambari 로 HDP 클 러 스 터 설치

Centos 7 을 참고 하여 apache - ambari 를 설치 하여 ambari 서버 를 얻 으 십시오.
HDP 는 hadop 의 자음 줄 임 말 이 아 닌 Hortonworks 의 제품 인 Hortonworks Data Platform 줄 임 말로 Hadoop 을 포함 한 일괄 솔 루 션 이다.
선행 요구:
CentOS 7 기기 3 ~ 4 대 중 1 대 는 Ambari 서 비 스 를 설치 해 야 한다.튜 토리 얼 은 centos 7 을 참고 하여 apache - ambari 를 설치 합 니 다.master 와 slave 의 노드 기 계 를 설치 하고 5G 보다 메모리 가 작 지 않 은 것 이 좋 습 니 다.
위 젯 설치:
앞에서 말 한 바 와 같이 이번 설 치 는 다음 과 같은 서 비 스 를 포함 합 니 다 (필요 에 따라 설치 하 십시오).
복무
판본
설명 하 다.
HDFS
2.7.3
아파 치 Hadoop 분산 파일 시스템
YARN + MapReduce2
2.7.3
Apache Hadoop 차세 대 MapReduce (YARN)
Tez
0.7.0
Tez 는 YARN 위 에서 실행 되 는 차세 대 Hadoop 조회 처리 프레임 워 크 입 니 다.
Hive
1.2.1000
즉석 조회 와 빅 데이터 분석 및 저장 관리 서 비 스 를 지원 하 는 데이터 창고 시스템
HBase
1.1.2
비 관계 형 분포 식 데이터 베 이 스 는 Phoenix 를 포함 하여 저 지연 응용 개발 을 위 한 고성능 sql 확장
Pig
0.16.0
빅 데이터 양 을 분석 하 는 스 크 립 트 플랫폼
Sqoop
1.4.6
Apache Hadoop 과 다른 구조 화 된 데이터 저장 위치, 예 를 들 어 관계 데이터베이스 간 에 데 이 터 를 대량으로 전달 하 는 도구
Oozie
4.2.0
Apache Hadoop 의 작업 엔진 중 하 나 는 Azkaban 이다.작업 흐름 의 조율 과 집행 을 맡다.선택 할 수 있 는 Oozie 웹 클 라 이언 트 에 따라 의존 하기 때문에 ExtJS 라 이브 러 리 도 설치 합 니 다.
Zookeeper
3.4.6
고가 용 분포 식 조정 서비스
Falcon
0.10.0
데이터 관리 및 처리 플랫폼
Storm
1.1.0
Apache Hadoop 흐름 처리 프레임 워 크 Storm 소개
Flume
1.5.2
HDFS 로 대량의 스 트림 데 이 터 를 수집, 취 합, 이동 하 는 분포 식 서비스
Accumulo
1.7.0
신뢰성 이 높 고 성능 과 신축성 이 높 은 키 / Value 는 각종 KV 도 구 를 저장 합 니 다.
Ambari Infra
0.1.0
Ambari 가 관리 하 는 위 젯 에 사용 되 는 핵심 공유 서비스
Ambari Metrics
0.1.0
Ambari 클 러 스 터 성능 모니터링 도구
Atlas
0.8.0
메타 데이터 관리 플랫폼
Kafka
1.0.0
높 은 물동량 의 분포 식 메시지 시스템
Knox
0.12.0
rest 형식의 인증 시스템 으로 단일 로그 인 인증 을 제공 할 수 있 습 니 다.
로그 검색 (설치 되 지 않 음)
0.5.0
로그 집합, 분석, 시각 화
SmartSense
1.4.5.2.6.2.2-1
어 쩔 수 없 이 설치 해 야 하 는 Hortonworks 부가 가치 서비스, 집단 진단 기능
Spark
1.6.3
빠 른 대규모 데이터 처리 엔진
Spark2
2.3.0
spark spark 2 대비
Zeppelin NoteBook
0.7.3
웹 인터페이스의 데이터 분석 시스템 은 sql 과 scala 등 을 사용 할 수 있 습 니 다.
Druid
0.10.1
빠 른 열 저장 분산 시스템
Mahout
0.9.0
Apache 오픈 소스 머 신 러 닝 알고리즘 라 이브 러 리, 협업 선별 (CF, 추천 알고리즘), 클 러 스 터 링 (clustering), 분류 (classification) 구현
Slider
0.92.0
YARN 의 응용 프로그램 배치, 관리 및 모니터링
Superset
0.15.0
Airbnb 의 오픈 소스 시각 화 된 데이터 플랫폼
설치 주의사항
호스트 Confirm Hosts 를 확인 하 는 단계 에서 openssl 이 최신 이 더 라 도 다음 과 같은 오 류 를 보고 할 수 있 습 니 다.

NetUtil.py:96 EOF occured in violation of protocol (_ssl.c:579)
 
SSLError: Failed to connect.Please check openssl library version.

이 때 각 노드 에 다음 설정 을 추가 해 야 합 니 다.

vi /etc/ambari-agent/conf/ambari-agent.ini

[security] ##           
force_https_protocol=PROTOCOL_TLSv1_2

회사 에 서 는 사진 을 찍 기 가 불편 하고 집에 가서 계속 업데이트 합 니 다.