개요

2019년 8월 시점의 아파치 스파크 의 인스톨 메모입니다. (자신의 작업 메모입니다)
우선 뭔가 움직였다! 라는 것을 확인하는 곳까지 합니다.

환경

% cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.2 LTS"

준비

Java 설치

% sudo apt-get install openjdk-11-jdk
% java --version
openjdk 11.0.4 2019-07-16
OpenJDK Runtime Environment (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3)
OpenJDK 64-Bit Server VM (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3, mixed mode, sharing)

Apache Spark 설치

htps : // s park. 아파치. 오 rg / 도w 응아 ds. HTML
다운로드하고 확장하고 종료합니다.

% wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
% tar -xzf spark-2.4.3-bin-hadoop2.7.tgz

우선 다운로드하고 전개한 그대로 진행합니다.
제대로 한다면 /usr/local라든지 /opt 의 아래 근처에 배치하면서 환경 변수도 각 쉘의 rc당에 써 두는 것이 좋습니다.

% cd spark-2.4.3-bin-hadoop2.7
% export SPARK_HOME=$(pwd)
% export PATH=$PATH:$SPARK_HOME/bin

우선 움직여 보자.

spark-shell 시작하기

% spark-shell
（...Warningとか出たけどとりあえず気にしないことにする）
Spark context Web UI available at http://10.0.2.15:4040
Spark context available as 'sc' (master = local[*], app id = local-1564991419374).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 11.0.4)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

그리고 인터랙티브 쉘이 시작되면 괜찮을 것입니다.
일단 움직였다! 라는 것이 확인할 수 있었습니다.

요약

내 작업 노트가 2019년 8월 현재 Apache Spark 설치에 대해 썼습니다.

(Apache Spark의 설치에 대해 최근 몇 년 정도 큰 변화는 없을 것 같은 분위기, 이었기 때문에 일부러 쓰지 않아 좋았을지도 )