Docker로 SPARK를.

그렇다고해도 컨테이너를 처음부터 만드는 것은 힘들기 때문에 sequenceiq/spark를 사용하게 합니다.
게시 시점에서 1.5.1이 최신이었습니다.

Docker 설치는 생략

덧붙여 사용 버전은 1.9.0

도커 풀

라고 해도, 도입에 관해서는 아래에 기재해 주고 있으므로 그대로 실행합니다.
htps // // 후 b. 도 c r. 코m/r/세쿠엔세이q/s파rk/
> docker pull sequenceiq/spark:1.5.1
pull 할 수 있으면 실행입니다만, 4040포트도 더해주고 싶기 때문에 아래와 같이.

> docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox --name="spark" sequenceiq/spark:1.5.1 /bin/bash

시작되면,

> cd /usr/local/spark
> bin/spark-sql --master yarn-client

Hadoop

yarn으로 기동했으므로, 아래로부터 클러스터를 볼 수 있다.
htp://127.0.0.1:8088/c㎅s r



hosts에 sandbox 127.0.0.1을 추가하면 링크에서 Spark Jobs도 볼 수 있습니다.



docker이니까 어쩌면 commit 해 두지 않으면 나중에 울어 버릴지도.