소개

코드

Pyspark 데이터 프레임 생성

%python
# データフレーム作成
spark_df = spark.createDataFrame([('a01', 150),('a02', 160)], ["item", "price"])
print(type(spark_df))
spark_df.show()

# Tempviewを作成
spark_df.createOrReplaceTempView("tempview_sparkr")

SparkR 데이터 프레임 생성

%r
# テーブルからSparkRデータフレームを作成
library(SparkR)
sparkr_df <- sql("select * from tempview_sparkr")
print(class(sparkr_df))
head(sparkr_df)

R 데이터 프레임 생성

%r
# SparkRデータフレームから Rデータフレームに変換
library(SparkR)

r_df <- collect(sparkr_df)

print(class(r_df))

head(r_df)

다양한 다운로드 링크

Databricks로 직접 가져오고 싶은 분은 이쪽

dbc를 다운로드하고 싶은 분은 이쪽