mac 아래 pyspark 환경 구축
1. JAVA JDK 2. Scala 3. apache - spark 4. Hadoop (선택 가능) 5. pyspark
위의 몇 개 를 설치 하면 홈 페이지 에 가서 설치 패 키 지 를 다운로드 하고 압축 을 푼 후에 환경 변 수 를 스스로 설정 할 수 있 습 니 다.brew 를 사용 하여 설치 할 수 있 고 비교적 편리 한 설치 방식 도 선택 할 수 있다.
만약 당신 의 컴퓨터 에 brew 가 설치 되 어 있 지 않다 면 아래 의 이 글 을 참고 하여 brew 를 설치 하 는 것 이 비교적 편리 합 니 다.https://www.jianshu.com/p/7ef9e0e4d3c2
간단하게 사용 하 시 면 됩 니 다.
brew install scala
brew install apache-spark
brew install hadoop
설치 가 끝 난 후에 환경 변 수 를 선택 하여 사용
vim ~/.bash_profile 환경 변수 설정 파일 에 들 어가 환경 변 수 를 설정 할 수 있 습 니 다. 구체 적 으로 다음 과 같 습 니 다. # HomeBrew
export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
export PATH="/usr/local/bin:$PATH"
export PATH="/usr/local/sbin:$PATH"
# HomeBrew END
#Scala
SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
# Scala END
# Hadoop
HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
# Hadoop END
# spark
export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0"
export PATH="$SPARK_PATH/bin:$PATH"
# Spark End
마지막 으로 pyspark 를 설치 하면 됩 니 다. 사용
pip install pyspark그리고 Jupyter notebook 을 열 어 파일 의 맨 위 에 다음 코드 를 추가 합 니 다. sparksession 대상 을 찾 아 spark 로 계산 하기 위해 서 입 니 다.import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SparkSession
# spark
spark = SparkSession.builder.getOrCreate()
그리고 pyspark 를 즐겁게 사용 할 수 있 습 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
STL 학습노트(6) 함수 객체모방 함수는 모두pass-by-value이다 함수 대상은 값에 따라 전달되고 값에 따라 되돌아오기 때문에 함수 대상은 가능한 한 작아야 한다(대상 복사 비용이 크다) 함수 f와 대상 x, x 대상에서 f를 호출하면:...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
