Hive2es를 검증하는 예
8843 단어 ElasticSearch
package com.peidw.hive2es;
import com.alibaba.fastjson.JSONObject;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.util.StringUtils;
import org.apache.htrace.commons.logging.Log;
import org.apache.htrace.commons.logging.LogFactory;
import org.elasticsearch.hadoop.mr.EsOutputFormat;
import java.io.IOException;
/**
* mydb.tmp_stud1 es
* : hdfs://192.168.177.139:8888/user/hive/warehouse/mydb.db/tmp_peidw
*/
public class Hive2Es2TmpStud1 {
private static final Log LOG = LogFactory.getLog(Hive2Es2TmpStud1.class);
public static class MyMapper extends Mapper { //
pom
4.0.0
com.peidw
mr
1.0-SNAPSHOT
UTF-8
2.7.7
1.4.13
org.apache.hadoop
hadoop-client
${hadoop.version}
org.apache.hadoop
hadoop-common
${hadoop.version}
org.apache.hadoop
hadoop-minicluster
${hadoop.version}
test
org.apache.hadoop
hadoop-hdfs
${hadoop.version}
org.apache.hadoop
hadoop-yarn-api
${hadoop.version}
org.apache.hadoop
hadoop-yarn-client
${hadoop.version}
org.apache.hadoop
hadoop-yarn-common
${hadoop.version}
org.apache.hbase
hbase-client
${hbase.version}
org.apache.hbase
hbase-common
${hbase.version}
org.elasticsearch
elasticsearch-hadoop
5.5.0
cascading-hadoop
cascading
cascading-local
cascading
com.alibaba
fastjson
1.2.5
maven-assembly-plugin
3.1.1
src/main/resources/assembly.xml
com.peidw.hive2es.Hive2Es3
make-assembly
package
single
org.apache.maven.plugins
maven-compiler-plugin
3.8.1
1.8
1.8
assembly.xml
job
jar
false
false
runtime
lib
${groupId}:${artifactId}
true
${groupId}:${artifactId}
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spring-data-elasticsearch 페이지 조회부록: 1. 이름에서 알 수 있듯이QueryBuilder는 검색 조건, 필터 조건을 구축하는 데 사용되고 SortBuilder는 정렬을 구축하는 데 사용된다. 예를 들어 우리는 어느 위치에서 100미터 범위 내의 모...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.