pyspark.sql.Data Frame 과 pandas.Data Frame 간 의 상호 변환 인 스 턴 스

1564 단어 pysparksqlpandas
코드 는 다음 과 같 습 니 다.절차 절 차 는 코드 주석 에서 볼 수 있 습 니 다.

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#     
 
#   pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#    
print df
 
#   spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#    
sentenceData.select("label").show()
 
#spark.DataFrame     pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#    
spark_df.select("c1").show()
 
 
# pandas.DataFrame     spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#    
print pandas_df
프로그램 결과:

이상 의 pyspark.sql.dataFrame 과 pandas.dataFrame 간 의 상호 전환 인 스 턴 스 는 바로 작은 편집 이 여러분 에 게 공유 하 는 모든 내용 입 니 다.참고 하 시 기 를 바 랍 니 다.여러분 들 도 저 희 를 많이 사랑 해 주 셨 으 면 좋 겠 습 니 다.

좋은 웹페이지 즐겨찾기