Spark 환경을 Windows에서 구축하고 싶습니다.
설치하고 있었지만, 아무래도 배치 기동으로 에러가 되어 버렸으므로,
해결 방법을 기록해 둡니다.

̻■환경

Windows10 64bit

̻■ 설치 절차

○ Apache Spark 설치
htp : // s park. 아파치. 오 rg / 도w 응아 ds. HTML
※버전은 최신을 취득(spark-2.1.1-bin-hadoop2.7)
tgz를 압축 해제 할 수있는 소프트웨어로 모든 디렉토리에 압축을 풉니 다.

○winutils.exe 다운로드
htps : // 기주 b. 이 m/s ゔぇぉぉ gh란/우우누치 ls/bぉb/마s r/하오오 p2.7.1/병/우우누치 ls. 네
※Windows에서 Spark를 실행하기 위해 Hadoop 의존성을 해결하기 위한 exe
다른 버전의 Hadoop이나 32bit OS를 이용하는 경우에는 해당하는 버전의 winutils 다운로드가 필요하다. .
이번은 2.7이므로 이쪽.
다운로드가 끝나면 압축이 풀렸습니다.
Apache Spark의 bin 바로 아래에 배치합니다.

̻■환경 변수

○HADOOP_HOME
ApacheSpark의 압축을 푼 디렉토리
D:\tools\spark-2.1.1-bin-hadoop2.7\

○path 추가
%HADOOP_HOME%\bin

̻■실행

이번에는 Scala를 시작합니다.
윈도우의 32비트라면
이대로 아래 파일을 관리자 권한으로 실행하면 좋을 것 같습니다만,
D:\tools\spark-2.1.1-bin-hadoop2.7\bin
spark-shell.cmd

※관리자로서 기동하지 않으면 액세스 에러가 나옵니다. .

64bit라면 패스로 화나 어쩐지 잘 안 되는 현상이 발생했습니다. .
조사하면 java를 실행할 때 경로 지정이 좋지 않다는 것을 알았으므로,
아래 파일을 수정. .
D:\tools\spark-2.1.1-bin-hadoop2.7\bin
spark-class2.cmd

spark-class2.cmd

rem Figure out where java is.
set RUNNER=java
if not "x%JAVA_HOME%"=="x" (
  set RUNNER=%JAVA_HOME%\bin\java :★ココのパスから""を除外してあげる
) else (
  where /q "%RUNNER%"
  if ERRORLEVEL 1 (
    echo Java not found and JAVA_HOME environment variable is not set.
    echo Install Java and set JAVA_HOME to point to the Java installation directory.
    exit /b 1
  )
)

그러면 무사히 기동 완료!



이것으로 spark 괴롭히는 ~.

도움이되면 다행입니다.