Apache Spark 설치(MacOSX)
3344 단어 MacOSX파이썬ApacheSpark스파크설치 절차
Apache Spark 설치 방법(MacOSX)
※Spark를 사용하려면 JRE와 Python이 설치되어 있어야 합니다.
아래 버전에서 좋으면 아래 링크를 클릭하면 바로 다운로드할 수 있습니다.
Spark release: 2.3.1(Jun08 2018)
package type: Pre-build for apache Hadoop 2.7 and later
spark-2.3.1-bin-hadoop2.7.tgz
htp //ftp. y…야마가타-. 아 c. jp / 푸 b / 네토 ぉ rk / 아파치 ぇ / s 파 rk / s 파 rk-2.3.1 / s 빠 rk-2.3. tgz
위 버전 이외를 원한다면 다음 단계를 따르십시오.
아래 사이트 방문
htps : // s park. 아파치. 오 rg / 도w 응아 ds. HTML
1. 릴리스 버전 선택
2. 패키지 유형 선택
3. 1,2를 선택하면 링크를 클릭
아래 화면으로 이동하므로 화면 2 행째의 링크를 클릭하십시오. 다운로드가 시작됩니다.
※다른 경유로 다운로드하고 싶은 경우는, HTTP 이하의 링크나 FTP 이하의 링크로부터도 다운로드 가능합니다
다운로드 후 압축 해제 및 폴더 이동
더블 클릭으로 압축을 풀고 폴더를 통째로 복사하여 적절한 위치로 옮깁니다.
conf 폴더에서 log4j.properties의 일부를 다시 씁니다.
log4j.rootCategory = INFO, 콘솔 행의 INFO를 WARN으로 설정합니다.
log4j.properties.template
# Set everything to be logged to the console
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
Terminal에서 다운로드한 폴더로 이동하여
bin 폴더에서 pyspark (scala의 경우 spark-shell)를 시작합니다.
Terminal
cd /ダウンロードした場所までのパス/spark
bin/pyspark
아래와 같은 화면이 표시되면 완료
Terminal
Python 3.6.5 |Anaconda, Inc.| (default, Apr 26 2018, 08:42:37)
[GCC 4.2.1 Compatible Clang 4.0.1 (tags/RELEASE_401/final)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
18/09/01 22:35:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 2.3.1
/_/
Using Python version 3.6.5 (default, Apr 26 2018 08:42:37)
SparkSession available as 'spark'.
>>>
이상
Reference
이 문제에 관하여(Apache Spark 설치(MacOSX)), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/R1ck29/items/e786f81c67ad25ec25f7텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
좋은 웹페이지 즐겨찾기
