Spark는 ElastichSearch에 데이터를 씁니다.

1단계: 가이드 패키지

       org.elasticsearch
       elasticsearch
       6.3.2
 

	   org.elasticsearch
	   elasticsearch-hadoop
	   6.3.2


	   org.elasticsearch.client
	   transport
	   6.3.2

2단계: spark 코드에서 ES 관련 매개 변수 설정

val conf = new SparkConfig(appName)
      .local()
      .extend(new SparkEsExt(esInfo()))
      .get()

public static Map esInfo() {
        String hostname = "es.hostname";
        String password = "es.password";
        String username = "es.username";
        String port = "es.port";

        return new HashMap(4) {{
            put(EsInfoKey.NODES, hostname);
            put(EsInfoKey.PORT, port);
            put(EsInfoKey.USER, username);
            put(EsInfoKey.PASSWORD, password);
        }};
    }

3단계: ES에 쓰기 위한api 호출 - saveToEs()

import org.elasticsearch.spark._
rddSource.saveToEs("info", Map("es.mapping.id" -> "id"))