자바 의 새로운 프로젝트 온라인 노트 - day 11 (5)

3.4.3  템 플 릿 파일 만 들 기  Logstash 작업 은 MySQL 에서 데 이 터 를 읽 고 ES 에 색인 을 만 드 는 것 입 니 다. logstash 가 사용 할 수 있 도록 mapping 템 플 릿 파일 을 미리 만들어 야 합 니 다.logstach 의 con fi g 디 렉 터 리 에 xc 만 들 기course_template. json, 내용 은 다음 과 같 습 니 다: 본 튜 토리 얼 의 xccourse_template. json 디 렉 터 리: D:/ElasticSearch/logstash - 6.2.1/con fi g/xccourse_template.json
[AppleScript] 일반 텍스트 보기 
?
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 {     "mappings" : {        "doc" : {           "properties" : {              "charge" : {                 "type" : "keyword"              } ,              "description" : {                 "analyzer" : "ik_max_word" ,                 "search_analyzer" : "ik_smart" ,                 "type" : "text"              } ,              "end_time" : {                 "format" : "yyyy‐MM‐dd HH:mm:ss" ,                 "type" : "date"              } ,              "expires" : {                 "format" : "yyyy‐MM‐dd HH:mm:ss" ,                 "type" : "date"              } ,              "grade" : {                 "type" : "keyword"              } ,              "id" : {                 "type" : "keyword"              } ,              "mt" : {                 "type" : "keyword"              } ,             "name" : {
 
[AppleScript] 일반 텍스트 보기 
?
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 "analyzer" : "ik_max_word" ,                 "search_analyzer" : "ik_smart" ,                 "type" : "text"              } ,              "pic" : {                 "index" : false ,                 "type" : "keyword"              } ,              "price" : {                 "type" : "float"              } ,              "price_old" : {                 "type" : "float"              } ,              "pub_time" : {                 "format" : "yyyy‐MM‐dd HH:mm:ss" ,                 "type" : "date"              } ,              "qq" : {                 "index" : false ,                 "type" : "keyword"              } ,              "st" : {                 "type" : "keyword"              } ,              "start_time" : {                 "format" : "yyyy‐MM‐dd HH:mm:ss" ,                 "type" : "date"              } ,              "status" : {                 "type" : "keyword"              } ,              "studymodel" : {                 "type" : "keyword"              } ,              "teachmode" : {                 "type" : "keyword"              } ,              "teachplan" : {                 "analyzer" : "ik_max_word" ,                 "search_analyzer" : "ik_smart" ,                 "type" : "text"              } ,              "users" : {                 "index" : false ,                 "type" : "text"              } ,              "valid" : {                 "type" : "keyword"              }           }        }    } ,
 
[AppleScript] 일반 텍스트 보기 
?
1 "template" : "xc_course" }
3.4.4 mysql. conf 설정  logstash 의 con * 64257 ° g 디 렉 터 리 에 my sql. conf 파일 을 설정 하여 logstash 에서 사용 할 수 있 도록 합 니 다. logstash 는 my sql. conf 파일 의 설정 주소 에 따라 MySQL 에서 데 이 터 를 읽 고 ES 에 색인 을 기록 합 니 다.레 퍼 런 스https://www.elastic.co/guide/en/입력 데이터 원본 과 출력 데이터 원본 을 설정 하 는 ns - input - jdbc. html 
[AppleScript] 일반 텍스트 보기 
?
01 02 03 04 05 06 07 08 09 10 11 12 13     "template" : "xc_course" }     input {    stdin {    }     jdbc {    jdbc_connection_string = > "jdbc:mysql://localhost:3306/xc_course? useUnicode=true&characterEncoding=utf‐8&useSSL=true&serverTimezone=UTC"    # the user we wish to excute our statement as    jdbc_user = > "root"    jdbc_password = > mysql   # the path to our downloaded jdbc driver      jdbc_driver_library = > "F:/develop/maven/repository3/mysql/mysql‐connector‐java/5.1.41/mysqlconnector‐java‐5.1.41.jar"    # the name of the driver class for mysql   jdbc_driver_class => "com.mysql.jdbc.Driver"   jdbc_paging_enabled => "true"   jdbc_page_size => "50000"   #要执行的sql文件   #statement_filepath => "/conf/course.sql"   statement => "select * from course_pub where timestamp > date_add(:sql_last_value,INTERVAL 8  HOUR)"   #定时配置   schedule => "* * * * *"   record_last_run => true   last_run_metadata_path => "D:/ElasticSearch/logstash‐6.2.1/config/logstash_metadata"   } }     output {    elasticsearch {    #ES的ip地址和端口   hosts => "localhost:9200"    #hosts => ["localhost:9200","localhost:9202","localhost:9203"]   #ES索引库名称   index => "xc_course"    document_id = > "%{id}"
 
[AppleScript] 일반 텍스트 보기 
?
1 2 3 document_type = > "doc"    template = > "D:/ElasticSearch/logstash‐6.2.1/config/xc_course_template.json"    template_name = > "xc_course"    template_overwrite = > "true"    }    stdout {   #日志输出   codec => json_lines   } }
설명: 1. ES 는 UTC 시간 대 문제 ES 는 UTC 시간 대 를 사용 하여 베 이 징 시간 보다 8 시간 빠 르 기 때문에 ES 가 데 이 터 를 읽 을 때 마지막 업데이트 시간 에 8 시간 을 추가 합 니 다 where timestamp > dateadd (: sql last value, INTERVAL 8 HOUR) 2. logstash 가 실 행 될 때마다 D:/ElasticSearch/logstash - 6.2.1/con * 64257 ° g/logstashmetadata 는 실행 시간 을 기록 하고 다음 시간 을 기준 으로 색인 라 이브 러 리 에 증분 동기 화 데 이 터 를 기록 합 니 다.