windows 에서 pycharm 은 spark 환경 을 구축 하고 소스 코드 를 성공 적 으로 실행 하 였 습 니 다.

windows 에서 spark 의 설치 와 실행 을 권장 합 니 다.
Spark 는 Win 10 아래 환경 에서 구축 되 었 습 니 다.
1.프로젝트 와.py 파일 만 들 기

2.pycharm 에 spark 환경 추가

왼쪽 python 에 없 으 면'+'번 호 를 누 르 면 추가 할 수 있 습 니 다.

spark 환경 설정:총 3 개(SPARKHOME、HADOOP_HOME、PYTHONPATH）



(주:SPARKHOME 와 HADOOPHOME 는 시스템 환경 변수 에 추가 되 었 으 므 로 추가 하지 않 습 니 다)
코드 를 작성 할 때 프로그램 이 성공 적 으로 실 행 될 수 있 도록 다음 코드 를 추가 하 는 것 을 권장 합 니 다.

import os
import sys
import findspark  #          

'''   spark  '''
findspark.init()
# Path for spark source folder
os.environ['SPARK_HOME'] = "G:\Spark\Install\spark-2.4.3-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("G:\Spark\Install\spark-2.4.3-bin-hadoop2.7\python")

'''  '''
from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import Row

# SparkContext spark       
sc = SparkContext("local", "app")
RawSalesDataRDD = sc.textFile("G:\\Spark\\  \\taxi.csv")
print(RawSalesDataRDD.take(5))
salesRDD = RawSalesDataRDD.map(lambda line: line.split(","))
print(salesRDD.take(5))
taxi_Rows = salesRDD.map(lambda p:
                         Row(
                             id=p[0],
                             lat=p[1],
                             lon=p[2],
                             time=p[3]
                        ))

sqlContext = SparkSession.builder.getOrCreate()
taxi_df = sqlContext.createDataFrame(taxi_Rows)
print(taxi_Rows.take(5))

print('  dataframe       5   ：')
taxi_df.printSchema()
taxi_df.show(5)

'''  SQL         '''
# #     taxi_table
taxi_df.registerTempTable("taxi_table")

#       5       GPS      10  
taxi_df.filter("id='5'").show(10)
taxi_df.where("id='5'").show(10)
sqlContext.sql("select * from taxi_table where id='5'").show(10)

코드 실행 결과:


windows 에서 pycharm 이 spark 환경 을 구축 하고 소스 코드 를 성공 적 으로 실행 하 는 것 에 관 한 이 글 은 여기까지 소개 되 었 습 니 다.더 많은 pycharm 이 spark 환경 을 구축 하 는 내용 은 우리 의 이전 글 을 검색 하거나 아래 의 관련 글 을 계속 조회 하 시기 바 랍 니 다.앞으로 많은 응원 바 랍 니 다!