pyspark 다운로드 설정 및 간단 한 사용
813 단어 빅 데이터
Windows 로 spark 를 배 울 때 pyspark 의 api 를 이용 하여 프로 그래 밍 을 하고 설치 와 구 덩이 를 밟 는 곳 을 기록 하 기 를 바 랍 니 다.
순서
1. jdk 8 설치
2. jdk 8 환경 변수 설정
3. 아 나 콘 다 설치
4. conda install - c conda - forge pyspark 라 는 말로 설치
네 번 째 단계 에 구덩이 가 있 습 니 다. conda install pyspark 로 설치 한 후에 spark 는 항상 일어나 지 못 합 니 다.
5. 간단 한 코드 예시
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("my app")
sc = SparkContext(conf=conf)
# ， /
logFile = "file:///D:\learnSpark\my_file.txt"
logData = sc.textFile(logFile, 2).cache()
numAs = logData.filter(lambda line: 'a' in line).count()
numBs = logData.filter(lambda line: 'b' in line).count()
print("a: %d, b: %d"%(numAs, numBs))보충 을 기다리다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
