spark와hive 결합 실천
631 단어 spark
Hive 설치 버전 0.13
mysql 데이터베이스를 만듭니다.
hive/conf/hive-site를 설정합니다.xml 설정 메타데이터는 mysql에 저장됩니다.
Hive에서 테이블을 만듭니다.
데이터를 Hadoop에 저장
hive에서 select * from tableName limit 10을 사용합니다.데이터가 보입니다.
spark-shell을 실행하고 다음 문을 실행합니다.
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
hiveContext.sql("show databases")프롬프트 오류는 다음과 같습니다(마지막 부분만 캡처).
export SPARK_CLASSPATH=/usr/local/hadoop/share/hadoop/common/lib/hadoop-gpl-compression-0.2.0-dev.jar:/usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark 프로그래밍 기본 사항(Python 버전)참조 웹사이트: Hadoop 환경이 있어야 합니다. 내 다른 블로그를 읽을 수 있습니다. 2.Spark 환경 변수 파일 수정 spark env SH 파일(vi ./conf/spark-env.sh)을 편집하고 첫 번째...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
