이 블로그는 Bluemix (SoftLayer) Advent Calendar 2016의 12월 20일 항목입니다.

소개

최근 빠르고 HDP(Hortonworks Data Platform) 2.5의 Sandbox를 시험할 수 있는 환경을 여러가지 찾고 있습니다만, 현재 CoreOS를 배포할 수 있는 클라우드를 이용하는 것이 간단하다고 생각합니다. 이미 Docker (EC2), Rancher(SoftLayer) 및 Docker(Packet)에서 시도하는 방법을 소개했지만 여기에서는 CoreOS (SoftLayer) + Portainer에서 시도하는 방법을 소개합니다.

HDP(Hortonworks Data Platform) 2.5의 Sandbox란?

Hortonworks이 제공하는 Apache Hadoop, Apache Spark 등을 패키지한 이미지입니다. Docker, VMware, Virtual Box, Azure 이미지 등이 있습니다. VMware, Virtual Box를 이용하면 로컬에서 시도할 수 있지만 이미지 크기가 크기 때문에 클라우드에서 시도하는 것이 좋습니다. Azure라면 sandbox가 이미 마켓플레이스에 있습니다. 여기 참조. AWS를 사용하면 Hortonworks Data Cloud for AWS를 사용하여 쉽게 시도할 수 있습니다. 여기 참조. 다른 클라우드의 경우 Docker 환경에 배포하는 것이 좋습니다.

CoreOS란?

RancherOS 등과 같은 Docker 환경 포함의 배포판입니다. RancherOS에 비해 기본적인 Linux 명령을 사용할 수 있습니다.

IBM Bluemix Infrastracture(이전 SoftLayer)에서 CoreOS 배포

IBM이 제공하는 퍼블릭 클라우드의 IaaS 서비스입니다. 베어 메탈 서버를 이용할 수 있는 것으로 알려져 있습니다. 올해 9월까지는 「SoftLayer」라고 하는 브랜드명으로 제공하고 있었습니다만, 올해 10월부터, Bluemix 브랜드에 통합되어 정식명 「IBM Bluemix Infrastructure」로서 제공되게 되었습니다. 기능 등은 변함없이 제공되고, 또 새롭게 한국등에도 데이터 센터가 되어 있는 것 같습니다. Bluemix Infrastracture에서는 CoreOS를 선택할 수 있으므로 여기를 이용하고 싶습니다.

먼저 고객 포털에 액세스하여 로그인합니다.

IBMid로 변경하겠습니다.하지만 지금은 변경하지 않습니다.


Bluemix Infrastracture 고객 포털


베어 메탈 서버 (CoreOS) 주문

Portainer를 사용해보십시오

Portainer란?

Portainer은 매우 간단한 컨테이너 관리 포털입니다. 특히 이번과 같은 케이스에서는, docker 커멘드만으로 충분합니다만, 나와 같은 Docker 초보자에게 있어서는, 이러한 UI가 있다고 매우 알기 쉽기 때문에 소개합니다. 자세한 내용은 Github을 참조하십시오. 문서 시스템은 여기.

Portainer 웹 사이트

Portainer 설치

# git clone https://github.com/portainer/portainer.git
# docker run -d -p 7000:9000 -v /var/run/docker.sock:/var/run/docker.sock portainer/portainer --logo "http://hortonworks.com/wp-content/uploads/2016/02/HWX-RGB-full-no-tagline-reverse.png"
★ --logo でロゴを変更できます。

대시보드


컨테이너 리소스 사용률


콘솔에 연결


App template

HDP Sandbox를 사용해보십시오

Docker에서의 배포는 이미 몇 가지 기사에서 소개되어 있지만, 만일을 위해 명령을 올려 둡니다.

# curl -O http://hortonassets.s3.amazonaws.com/2.5/HDP_2.5_docker.tar.gz
# gunzip HDP_2.5_docker.tar.gz
# docker load < HDP_2.5_docker.tar
# docker run -v hadoop:/hadoop --name sandbox --hostname "sandbox.hortonworks.com" --privileged -d \
-p 3000:3000 \
-p 6080:6080 \
-p 9090:9090 \
-p 9000:9000 \
-p 8000:8000 \
-p 8020:8020 \
-p 42111:42111 \
-p 10500:10500 \
-p 16030:16030 \
-p 8042:8042 \
-p 8040:8040 \
-p 2100:2100 \
-p 4200:4200 \
-p 4040:4040 \
-p 8050:8050 \
-p 9996:9996 \
-p 9995:9995 \
-p 8080:8080 \
-p 8088:8088 \
-p 8886:8886 \
-p 8889:8889 \
-p 8443:8443 \
-p 8744:8744 \
-p 8888:8888 \
-p 8188:8188 \
-p 8983:8983 \
-p 1000:1000 \
-p 1100:1100 \
-p 11000:11000 \
-p 10001:10001 \
-p 15000:15000 \
-p 10000:10000 \
-p 8993:8993 \
-p 1988:1988 \
-p 5007:5007 \
-p 50070:50070 \
-p 19888:19888 \
-p 16010:16010 \
-p 50111:50111 \
-p 50075:50075 \
-p 50095:50095 \
-p 18080:18080 \
-p 60000:60000 \
-p 8090:8090 \
-p 8091:8091 \
-p 8005:8005 \
-p 8086:8086 \
-p 8082:8082 \
-p 60080:60080 \
-p 8765:8765 \
-p 5011:5011 \
-p 6001:6001 \
-p 6003:6003 \
-p 6008:6008 \
-p 1220:1220 \
-p 21000:21000 \
-p 6188:6188 \
-p 61888:61888 \
-p 2181:2181 \
-p 2222:22 \
sandbox /usr/sbin/sshd -D
# ssh -p 2222 root@localhost
# /etc/init.d/startup_script start

http://<ipaddress>:8888로 이동하여 시작 페이지보기

ADVANCED HDP의 QUICK LINK를 클릭하면 각 서비스에 대한 주소가 표시됩니다.

http://<ipaddress>:8080로 이동하여 Ambari보기

이상

향후의 과제(시험하신 분이 계시면 가르쳐 주시면 좋겠습니다.)

Bluemix Infrastructure에서 휴대용 IP 주소를 주문하고 CoreOS를 멀티 홈 호스팅하고 Sandbox를 여러 부팅

Portainer App Template에 HDP Sandbox 등록