spark에서 elasticsearch로 데이터 쓰기
7358 단어 elasticsearch
pom.xml
4.0.0
com.ultrapower.scala
spark_scala_demo
1.0-SNAPSHOT
2017
2.10
1.6.1
org.apache.spark
spark-core_${scala.version}
${spark.version}
org.apache.spark
spark-streaming-kafka_2.10
1.6.1
org.apache.spark
spark-streaming_${scala.version}
${spark.version}
org.apache.kafka
kafka-clients
1.0.1
org.apache.spark
spark-mllib_${scala.version}
${spark.version}
redis.clients
jedis
2.8.1
org.apache.commons
commons-pool2
2.4.2
org.elasticsearch
elasticsearch-hadoop
5.4.0
net.minidev
json-smart
2.3
src/main/scala
src/test/scala
maven-compiler-plugin
3.6.0
1.8
1.8
package com.ultrapower.scala.es;
import com.google.common.collect.ImmutableList;
import com.google.common.collect.ImmutableMap;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.elasticsearch.spark.rdd.api.java.JavaEsSpark;
import java.util.Map;
/**
* @author xiefg
* @create 2018-04-26 10:44
* @desc spark es
**/
public class SparkToEs {
public static void main(String[] args) {
SparkConf conf=new SparkConf().setAppName("SparkToEs").setMaster("local");
conf.set("es.index.auto.create", "true");
conf.set("es.nodes", "192.168.186.229");
conf.set("es.port", "9200");
conf.set("es.nodes.wan.only", "true");
JavaSparkContext jsc = new JavaSparkContext(conf);
Map, ?> numbers = ImmutableMap.of("one", 1, "two", 2);
Map, ?> airports = ImmutableMap.of("OTP", "Otopeni", "SFO", "San Fran");
JavaRDD
홈페이지 참조:https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
kafka connect e elasticsearch를 관찰할 수 있습니다.No menu lateral do dashboard tem a opção de connectors onde ele mostra todos os clusters do kafka connect conectados atu...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.