AWS나 GCP에 빨리 Hadoop 클러스터를 세울 수 있는 Cloudera Director입니다만, 여러분 사용하고 있습니까?

하나의 Director 서버에서 멀티 클라우드를 가로질러 클러스터를 세우거나, 노드 수의 변경도 손쉽게 할 수 있거나 매우 간단하므로, 꼭 시험해 보세요.
덧붙여 나는 이 동영상을 보고 시험해 보았고, 그 날 중에 Cluster를 관리할 수 있게 되어 있었습니다.
h tps://ゔぃ메오. 코m/120721587

도입 방법은 이하가 참고가 됩니다.

공식(영어이지만, step by step으로 굉장히 정중)

AWS: Setting up the AWS Environment

GCP: Creating a Google Cloud Platform Project

일본어 설명(보충적으로 보면 좋다)

Cloudera Director 설치 방법 - Qiita

그건 그렇고, 이번에는 AWS에서 시도했지만 인스턴스는 다음과 같이 만들었습니다.
- Director 서버: c4.large
- Cloudera Manager, master 서버: m4.xlarge, root volume: gp2 50GB
- worker 서버: m4.xlarge, root volume type: standard 100GB

이 설정 중에 한 점만 빠진 곳이있었습니다.
현재 최신 CDH는 5.7.1이지만 Cloudera Director 2.0에서는 CDH 5.5가 들어갑니다.
2개소 설정만 하면 CDH 5.7을 넣을 수 있습니다. 하지만 굉장한 눈치채기 어렵기 때문에 방법을 공유합니다.

설정 포인트

Cloudera Manager의 리포지토리 URL

Default Parcel의 Repository URL

Cloudera Manager의 리포지토리 URL

기본적으로 리포지토리 URL 설정은 나오지 않습니다.
따라서 Configurations (optional)를 선택하고 Override default Cloudera Manager repository라는 확인란을 선택합니다.



그러면 Cloudera Manager의 리포지토리 URL 설정이 나오므로 Example을 복사하여 5.5를 5.7로 바꿉니다.
이번은 http://archive.cloudera.com/cm5/redhat/6/x86_64/5.7/ 로 했습니다.

Default Parcel의 리포지토리 URL

Cloudera Manager에서 Hive 및 Spark와 같은 각 구성 요소는 Parcel에서 관리됩니다. yum의 rpm이나 apt-get의 deb 같은 느낌입니다.
그것의 리포지토리도, 디폴트라고 5.5를 향하고 있으므로, 5.7로 하지 않으면 안됩니다.

Cloudera Manager를 시작한 후 master 또는 worker 인스턴스를 시작할 때 선택적으로 제공합니다.
예를 들어, Override default parcel repositories 를 체크합니다.



그런 다음 parcel 리포지토리의 URL을 지정할 수 있으므로 Cloudera Manager와 마찬가지로 Example을 복사하여 5.5를 5.7로 바꿉니다.
이번은 http://archive.cloudera.com/cdh5/parcels/5.7/라고 할 수 있습니다.



이제 CDH 5.7에서 GA가 된 Hive on Spark도 시도하고 싶은 마음대로!