Polynote란?

Polynote 은 요 전날 Netflix가 공개했습니다. notebook입니다.
Jupyter Notebook과 같은 것이라고 생각하면 이미지하기 쉽다고 생각합니다.
현재는 Scala, Python, SQL 에 대응하고 있어, 셀 마다 구분할 수 있는 것이 특징적입니다.
이번에는 환경 구축을 해 간단한 코드를 움직이는 것을 목표로 해 갑니다.

환경 구축

macOS Catalina에서 작동하는지 확인했습니다.
공식 문서 참고.

스파크

Apache Spark가 필요합니다.
영어이지만 이 블로그이 매우 도움이되었습니다.
필자의 경우는 이미 JVM이나 Scala를 넣고 있었으므로, Spark의 인스톨 부분만 했습니다.
Java는 Java8을 선택하는 것이 무난하다고 생각합니다. cf. Stack Overflow: spark-2-4-java-11-compatibility

파이썬

Python3과 pip3이 필요하므로 설치해 둡시다.
여러 종속 패키지를 설치합니다.

pip3 install jep jedi pyspark virtualenv

필요하면 pyspark 이나 pandas 등도 넣어 둡니다.

Polynote

먼저 여기에서 최신 버전의 것을 다운로드합니다.
이번에는 0.2.13 의 polynote-dist.tar.gz를 선택했습니다.
그런 다음 확장하여 노트북을 시작합니다.

tar -zxvpf polynote-dist.tar.gz
cd polynote

./polynote.py  # localhost:8192 にノートブックが立ち上がる

움직여 보자

기본적인 조작에 대해서는 공식 문서 에 있습니다.

노트북을 만들고 Spark 설정하기

브라우저에서 localhost:8192로 이동합니다.

새 노트북을 만들어 Spark를 설정합니다.Configuration & dependencies 의 Spark Config 에
키 : spark.masterval : local[*]넣어 Save & Restart 합니다.

코드를 작성하고 실행

Spark Dataframe을 만들고 그래프 그리기 기능을 사용해보십시오.
다음 코드를 입력하여 실행합니다.

import org.apache.spark.sql._
import org.apache.spark.sql.types._

val schema = StructType(
    List(
        StructField("name", StringType, true),
        StructField("point", IntegerType, true)
    )
)
val data = Seq(
    Row("Taro", 10), Row("Jiro", 20), Row("Ichiro", 30)
)
val df = spark.createDataFrame(
    spark.sparkContext.parallelize(data),
    schema
)

df