Ambari blueprint 및 AWS AMI로 HDP3.1 또는 HDF 3.3 추출

요약:

참고 문장
https://community.hortonworks.com/articles/218863/automate-deployment-of-hdp30hdf32-or-hdf32-standal.html
HDF3.3 발표는 개선점이 많았다.
Ambari-bootstrap을 사용하면 블루프린트는 HDF나 HDF+HDP의 집단을 간단하게 구축할 수 있다.
Ambari-bootstrap:
https://github.com/seanorama/ambari-bootstrap
AWS의 AMI가 준비돼 있기 때문에 자동화도 용이하다.
Steps for each of the below option are described in this article:

A. Single-node prebuilt AMIs on AWS

B. Single-node fresh installs

C. Multi-node fresh installs

A. Single-node prebuilt AMI on AWS:
Steps to launch the AMI
1. AWS console 페이지에 로그인합니다.

2. "N.California"에서 다음 AMI를 선택합니다.

HDP 3.1/HDF 3.3 : https://us-west-1.console.aws.amazon.com/ec2/v2/home?region=us-west-1#LaunchInstanceWizard:ami=ami-035763837fac68bc5
*HDF 3.3 : https://us-west-1.console.aws.amazon.com/ec2/v2/home?region=us-west-1#LaunchInstanceWizard:ami=ami-0d758b0469e572e56

instance type을 선택하고 다음:
‘m4.2xlarge’

※ 절약을 위해 더 작은 케이스를 선택하면 일부 서비스가 시작되지 않을 수 있습니다
설정:기본값 유지, 다음

Storage 선택: 800GB 이상

기호별 태그 설정

보안 그룹 설정

설정을 다시 확인합니다.

SSH에서 EC2 인스턴스에 로그인하기 위해 Key Pare 선택/새로 만들기:

Your instance are now launching 에서 EC2 인스턴스 링크를 클릭하여 자세히 보기:

위에서 설명한 대로 EC2 인스턴스의 세부 정보 페이지를 표시합니다.

여기서 Public IP가 보입니다.
몇 분 후(5-10분) 위의 IP를 액세스해 보십시오.
URL:
http://:8080

계정:admin

암호: Strong Password

이렇게 하면 서비스 상황을 볼 수 있어요.

SSH에서도 EC2에 로그인할 수 있습니다.

ssh -i ~/.ssh/mykey.pem centos@<publicIP>
tail -f /var/log/hdp_startup.log

↑, 암바리 화면
B. Single-node install:

HDF 3.3 only cluster

    export host_count=1
    curl -sSL https://gist.github.com/abajwa-hw/b5565d7e7f9beffd8dd57a970dc54266/raw | sudo -E sh

HDF 3.3/HDP3.1 combined cluster

    export host_count=1
    curl -sSL https://gist.github.com/abajwa-hw/d7cd1c0232c1af46ee2c465e4871ddc6/raw | sudo -E sh

C. Multi-node HDF 3.3 install:
생략하다