Spark를 iPython Notebook(Jupyter)에서 실행합니다. 과거에는 몇 가지 동일한 테마로 게시물이 있었지만이 방법이 가장 간단하다고 생각합니다.

환경

macOS Sierra

Apache-Spark 2.0.1 (homebrew로 설치 한 것)

Python 2.7.10 (virtualenv)

Spark 설치

Homebrew apache-spark를 설치하기 쉽습니다. Homebrew 설치는 약어

brew install apache-spark

파이썬 설치

Python은 virtualenv에서 전용 환경을 만듭니다. 이름은 spark로 만들었습니다.

mkvirtualenv spark

필요한 모듈을 설치. numpy는 pandas 설치시 동시에 들어갑니다. scipy는 필요에 따라 추가합시다.

pip install jupyter pandas matplotlib

실행

PYSPARK_DRIVER_PYTHON 및 PYSPARK_DRIVER_PYTHON_OPTS를 지정하여 pyspark를 실행합니다.

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=notebook pyspark  --master local[*]

실행 예