Spark elasticsearch 데이터 읽 기
1360 단어 elasticsearchspark
object SparkReadFromES { def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]")
// elasticsearch
conf.set("cluster.name", "es")
conf.set("es.index.auto.create", "true")
conf.set("es.nodes", "es IP。 , ")
conf.set("es.port", "9200")
val sc = new SparkContext(conf)
/ / 검색 조건 을 설정 합 니 다. 저 는 여기 서 모든 val query: String = s "" {를 조회 합 니 다.
"query" : {
"match_all" : {}
} "/" / 검색 조건 에 따라 색인 과 type 의 데이터 val a = EsSpark. esRDD (sc, "색인 이름 / type", query) val code = a. map (x = > {를 직접 조회 합 니 다.
// elasticsearch ， rdd 。
val y = x._2.get("cal_rule").getOrElse("110611")
y
}).filter(_!=null)
} }
spark 와 elasticsearch 의 상호작용 을 할 때 spark 와 elasticsearch 의 maven 의존 도 를 추가 하여 jar 가방 을 직접 다운로드 해 야 합 니 다.
org.elasticsearch
elasticsearch-spark-20_2.11
5.4.0
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
kafka connect e elasticsearch를 관찰할 수 있습니다.No menu lateral do dashboard tem a opção de connectors onde ele mostra todos os clusters do kafka connect conectados atu...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
