Elasticsearch 클러스터 간 검색(Cross Cluster Search)

4450 단어
1. 소개
Elasticsearch는 5.3 버전에서 폐기될 Tribe Node를 대체하기 위해 Cross Cluster Search(CCS 크로스 그룹 검색) 기능을 도입했다.Cross Cluster Search는 Tribe Node와 같이 클러스터 간 데이터 검색에 사용됩니다.
2, Cross Cluster Search 구성
ES 클러스터가 2개인 경우
Node
Address
Port
Transport Port
Cluster
elasticsearch01
127.0.0.1
9201
9301
America
elasticsearch02
127.0.0.1
9202
9302
America
elasticsearch03
127.0.0.1
9203
9303
Europe
elasticsearch04
127.0.0.1
9204
9304
Europe
CCS 구성에는 다음과 같은 두 가지 방법이 있습니다.
1) elasticsearch를 구성합니다.yml
search:
    remote:
        america:
            seeds: 127.0.0.1:9301
            seeds: 127.0.0.1:9302
        europe:
            seeds: 127.0.0.1:9303
            seeds: 127.0.0.1:9304

주의: 상기 방식은 설정할 때remotecluster가 실행 상태여야 합니다.예를 들어 "america"집단을 설정할 때 "europe"집단이 실행 상태에 있어야 합니다. 그렇지 않으면 노드가 시작할 수 없습니다.
2) Cluster Settings API 구성 사용
curl -XPUT -H'Content-Type: application/json' localhost:9201/_cluster/settings -d '
{
    "persistent": {
        "search.remote": {
            "america": {
                "skip_unavailable": "true",
                "seeds": ["127.0.0.1:9301","127.0.0.1:9302"]
            },
            "europe": {
                "skip_unavailable": "true",
                "seeds": ["127.0.0.1:9303","127.0.0.1:9304"]
            }
        }
    }
}'

API 방식을 사용하면 Remote cluster의 seeds와 다른 설정을 편리하게 수정할 수 있습니다.
3. Cross Cluster Search 검증
1) 사용_remote/info CCS 접속 상태 보기:
[root@localhost elasticsearch01]# curl -XGET -H 'Content-Type: application/json' localhost:9201/_remote/info?pretty
{
  "america" : {
    "seeds" : [
      "127.0.0.1:9301",
      "127.0.0.1:9302"
    ],
    "http_addresses" : [
      "127.0.0.1:9201",
      "127.0.0.1:9202"
    ],
    "connected" : true,
    "num_nodes_connected" : 2,
    "max_connections_per_cluster" : 3,
    "initial_connect_timeout" : "30s"
  },
  "europe" : {
    "seeds" : [
      "127.0.0.1:9303",
      "127.0.0.1:9304"
    ],
    "http_addresses" : [
      "127.0.0.1:9203",
      "127.0.0.1:9204"
    ],
    "connected" : true,
    "num_nodes_connected" : 2,
    "max_connections_per_cluster" : 3,
    "initial_connect_timeout" : "30s"
  }
}

2) 클러스터 간 검색 사용:
2개의 클러스터 데이터 쿼리:
GET /cluster_name:index,cluster_name:index/_search
GET */index/_search

java API 예:
// , appIndex- 
SearchRequest searchRequest = Requests.searchRequest("*:appIndex-*");
SearchResponse response = es.getClient().search(searchRequest).get();

4、Disable Cross Cluster Search
API 설정을 사용하려면 다음과 같이 하십시오.
curl -XPUT -H'Content-Type: application/json' localhost:9201/_cluster/settings -d '
{
    "persistent": {
        "search.remote": {
            "america": {
                "skip_unavailable": null,
                "seeds": null
            },
            "europe": {
                "skip_unavailable": null,
                "seeds": null
            }
        }
    }
}'

5, CCS 구성
search.remote.${cluster_alias}.skip_unavailable: 조회할 때 skip에 도달할 수 없는 그룹, 기본false,true로 설정하는 것을 추천합니다
search.remote.connect: 기본true, 즉 모든 node는cross-clusterclient로remotecluster를 연결합니다. 크로스 그룹 검색 요청은cross-clusterclient에 보내야 합니다.
search.remote.node.attr:remote node의 속성을 설정합니다. 예를 들어 검색.remote.node.attr:gateway 이렇게 설정하면 node만 있습니다.attr.gateway:true의 node는 이 node 연결에 의해 CCS 조회에 사용됩니다.
 
참조:
https://www.elastic.co/guide/en/elasticsearch/reference/6.2/modules-cross-cluster-search.html
http://kelonsoftware.com/elasticsearch-cross-cluster-search/

좋은 웹페이지 즐겨찾기