ApacheSpark Apache Spark 설치(MacOSX) ※Spark를 사용하려면 JRE와 Python이 설치되어 있어야 합니다. 아래 버전에서 좋으면 아래 링크를 클릭하면 바로 다운로드할 수 있습니다. Spark release: 2.3.1(Jun08 2018) package type: Pre-build for apache Hadoop 2.7 and later spark-2.3.1-bin-hadoop2.7.tgz 위 버전 이외를 원한다면 다음 단계... MacOSX파이썬ApacheSpark스파크설치 절차 macOS + Vagrant (CentOS)로 pyspark 이동 macOS에 VirturalBox 설치하여 CentOS를 실행하고 Apache spark를 다운로드하여 pyspark 실행 환경을 만듭니다. 버전 확인 CentOS 7.2 x64를 사용합니다. ~/Vagrant/CentOS72 안에 Vagrantfile이라는 파일이 만들어졌기 때문에, 아래 세 부분의 #을 제거하고 숫자 설정 ※로그인 패스워드는 「vagrant」입니다 ※2019/9/1 시점의... 파이썬MacVagrantPysparkApacheSpark Apache Spark를 1.5계에 올리면 UnknownHostException이 나오게 되어 버렸을 때의 대처법 최근 Apache Spark를 1.4系에서 1.5.1로 업그레이드했습니다. 그런데, 작업을 만들어 jar로 해 spark-submit 로부터 실행했는데, 아래와 같은 에러가 나와 fail 하게 되어 버렸습니다. nameservice1는 HDFS의 HA 클러스터에 붙은 논리 서비스 이름입니다. (내 환경에서는 HDFS HighAvailability를 사용하도록 설정했습니다.) 같은 내용의 작업... ApacheSpark스파크
Apache Spark 설치(MacOSX) ※Spark를 사용하려면 JRE와 Python이 설치되어 있어야 합니다. 아래 버전에서 좋으면 아래 링크를 클릭하면 바로 다운로드할 수 있습니다. Spark release: 2.3.1(Jun08 2018) package type: Pre-build for apache Hadoop 2.7 and later spark-2.3.1-bin-hadoop2.7.tgz 위 버전 이외를 원한다면 다음 단계... MacOSX파이썬ApacheSpark스파크설치 절차 macOS + Vagrant (CentOS)로 pyspark 이동 macOS에 VirturalBox 설치하여 CentOS를 실행하고 Apache spark를 다운로드하여 pyspark 실행 환경을 만듭니다. 버전 확인 CentOS 7.2 x64를 사용합니다. ~/Vagrant/CentOS72 안에 Vagrantfile이라는 파일이 만들어졌기 때문에, 아래 세 부분의 #을 제거하고 숫자 설정 ※로그인 패스워드는 「vagrant」입니다 ※2019/9/1 시점의... 파이썬MacVagrantPysparkApacheSpark Apache Spark를 1.5계에 올리면 UnknownHostException이 나오게 되어 버렸을 때의 대처법 최근 Apache Spark를 1.4系에서 1.5.1로 업그레이드했습니다. 그런데, 작업을 만들어 jar로 해 spark-submit 로부터 실행했는데, 아래와 같은 에러가 나와 fail 하게 되어 버렸습니다. nameservice1는 HDFS의 HA 클러스터에 붙은 논리 서비스 이름입니다. (내 환경에서는 HDFS HighAvailability를 사용하도록 설정했습니다.) 같은 내용의 작업... ApacheSpark스파크