eclipse 통합 hadop + spark + hive 로 컬 개발 그림 설명

이전 글 에서 저 희 는 자바 + Spark + Hive + Maven 실현 과 이상 처 리 를 실 현 했 습 니 다. 테스트 의 인 스 턴 스 는 Liux 환경 에서 패키지 로 실행 되 지만 Windows 시스템 에서 직접 실 행 될 때 Hive 와 관련 된 이상 한 출력 이 있 습 니 다. 본 고 는 Windows 시스템 에 Hadoop + Spark + Hive 개발 환경 을 통합 하 는 데 도움 을 줄 것 입 니 다.
개발 환경
시스템: windows 7
JDK:jdk1.7
eclipse:Mars.2 Release (4.5.2)
Hadoop:hadoop-2.6.5
Spark:spark-1.6.2-bin-hadoop2.6
Hive:hive-2.1.1
전기 준비
1. 시스템 환경 설정
JDK, Hadoop, Spark 설정 시스템 환경
2. Hadoop 관련 파일
winutils. exe 와 hadop. dll, 다운로드 주소: hadop 2.6.5 중 winutils 와 hadop
위 에 있 는 두 개의 파일 을... \ hadop - 2.6.5 \ bin 디 렉 터 리 아래 에 놓 기;
winutils. exe 를 C: \ Windows \ System 32 디 렉 터 리 에 동시에 놓 기;
3. tmp / hive 디 렉 터 리 새로 만 들 기
응용 프로젝트 디 렉 터 리 에 tmp / hive 디 렉 터 리 를 새로 만 듭 니 다. 제 프로젝트 는 E 디스크 에 설치 되 어 있 기 때문에 E 디스크 에 tmp / hive 디 렉 터 리 를 새로 만 들 수 있 습 니 다.
3. hive 설정
1. Hive 환경
이 시스템 의 Hive 는 원 격 Liux 군집 환경 에 배치 되 어 있 습 니 다.홈 설치 디 렉 터 리 ip 주소: 10.32.19.50: 9083
구체 적 인 Hive 가 Liux 환경 에 배 치 된 것 은 관련 문 서 를 보십시오. 본 고 는 소개 하지 않 습 니 다.
2. Windows 에서 hive - site. xml 파일 설정

	
    
        hive.metastore.warehouse.dir
        /user/hive/warehouse
    

	
    
        hive.metastore.local
        false
    

	
    
        hive.metastore.uris
        thrift://10.32.19.50:9083
    
    

windows 에서 hive - site. xml 설정
인 스 턴 스 테스트
수요: Hive 데이터 조회, eclipse 정상 표시
1. 인 스 턴 스 공정 구조
인 스 턴 스 엔지니어 링
2. pom 파일

	4.0.0

	com.lm.hive
	SparkHive
	0.0.1-SNAPSHOT
	jar

	SparkHive
	http://maven.apache.org

	 
    UTF-8
  

 
    
        
        
            org.apache.spark
            spark-core_2.10
            1.6.0
            
                
                    org.apache.hadoop
                    hadoop-client
                
            
        
        
            org.apache.spark
            spark-sql_2.10
            1.6.0
        
        
            org.apache.spark
            spark-hive_2.10
            1.6.0
        

        
            org.mongodb.spark
            mongo-spark-connector_2.10
            1.1.0
        
        
            org.apache.derby
            derby
            10.10.2.0
        
        
        
            org.apache.hadoop
            hadoop-client
            2.6.4
            
                
                    javax.servlet
                    *
                
            
        

    
    
    
		src/main/java
		src/main/test

		
			
				maven-assembly-plugin
				
					
						jar-with-dependencies
					
					
						
							
						
					
				
				
					
						make-assembly
						package
						
							single
						
					
				
			

			
				org.codehaus.mojo
				exec-maven-plugin
				1.2.1
				
					
						
							exec
						
					
				
				
					java
					true
					false
					compile
					
				
			

			
				org.apache.maven.plugins
				maven-compiler-plugin
				3.1
				
					1.7
					1.7
					true
				
			

		
	

3. 테스트 용례 실현

package com.lm.hive.SparkHive;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.hive.HiveContext;

/**
 * Spark sql  Hive  
 *
 */
public class App 
{
    public static void main( String[] args ) 
    {
        SparkConf sparkConf = new SparkConf().setAppName("SparkHive").setMaster("local[2]");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);
        
        //    SQLContext,            
        HiveContext hiveContext = new HiveContext(sc);
//        SQLContext sqlContext = new SQLContext(sc);
        //    10   
        hiveContext.sql("select * from bi_ods.owms_m_locator limit 10").show();
        
        sc.stop();
    }
}

4. 테스트 결과 전시
테스트 결과 전시
코드 다운로드 주소: eclispe 통합 hadop + spark + hive 개발 인 스 턴 스 코드