Spark RDD Union

1680 단어
예제
 
Spark 여러 RDD(데이터 형식 동일) "조합"은 하나의 RDD
 
코드
 
from pyspark import SparkConf, SparkContext
 
conf = SparkConf().setAppName("spark_app_union")
 
sc = SparkContext(conf=conf)
 
rdd1 = sc.parallelize(["line1", "line2", "line3"])
 
rdd2 = sc.parallelize(["line4", "line5"])
 
datas = rdd1.union(rdd2).collect()
 
sc.stop()
 
# ['line1', 'line2', 'line3', 'line4', 'line5']
print datas

좋은 웹페이지 즐겨찾기