Hive 통합 ElasticSearch

역할: Hive 데이터를 Es에 직접 입력

Index 를 생성합니다

PUT bank_2 
{
  "settings": {
    "number_of_shards": 5
    , "number_of_replicas": 1
  }
}

Type의 매핑을 생성합니다

PUT bank_2/_doc/_mapping
{
  "properties": {
    "fid":{
      "type": "keyword"
    },
    "tid":{
      "type": "keyword"
    },
    "counts":{
      "type": "long"
    },
    "sums":{
      "type": "double"
    },
    "years":{
      "type": "integer"
    }
  }
}

es-hive 관련 Jar 패키지를 다운로드하여 HDFS에 넣습니다

wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-6.6.0.zip

Hive 관련 JAR 패키지 추가

hive > add jar hdfs://gl0:9000/jars/elasticsearch-hadoop-hive-6.5.1.jar;
hive > add jar hdfs://gl0:9000/jars/commons-httpclient-3.1.jar;

ES 외부 테이블을 생성합니다

drop table yin_hang_ce_shi.elastic_bank_2;
CREATE EXTERNAL TABLE yin_hang_ce_shi.elastic_bank_2(
   idcard string,
   fid string,
   tid string,
   counts bigint,
   sums double,
   years int
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource'='${index}',
'es.nodes'='${ips}',
'es.port'='9200',
'es.index.auto.create'='TRUE',
'es.mapping.id' = '${ ID }'
);

데이터 추가

insert into yin_hang_ce_shi.elastic_bank_2 (select * from yin_hang_ce_shi.table);

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

Hive 통합 ElasticSearch

역할: Hive 데이터를 Es에 직접 입력 Index 를 생성합니다 Type의 매핑을 생성합니다 es-hive 관련 Jar 패키지를 다운로드하여 HDFS에 넣습니다 Hive 관련 JAR 패키지 추가 ES 외부 테이블...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

Hive 통합 ElasticSearch

Hive 통합 ElasticSearch

좋은 웹페이지 즐겨찾기