ELasticsearch 클러스터 간 복제(CCR)

클러스터 간 복제 개요
CCR - Cross Cluster Replication - 크로스 그룹 복제는 Elasticsearch v6.5에서 발표한 새로운 기능입니다. 이 기능은 한 그룹의 색인 데이터를 원격의 다른 그룹에 동기화할 수 있습니다.또는 반대로 원격 집단의 인덱스 데이터를 로컬 Elasticsearch 집단에 동기화합니다.집단 복제는 데이터 구독과 유사하다. 한 집단의 데이터는 여러 집단에 의해 구독될 수 있다. 즉, 여러 집단에 복제될 수 있다.CCR에는 두 가지 역할이 있는데 하나는 Leader로 데이터의 원천을 나타내고 다른 하나는 Follower로 데이터의 구독자를 나타내며 얻은 것은 데이터 사본이다.CCR은 색인 차원에서 Pull 모드를 사용하고 Follower 색인은 Pull Leader의 데이터를 주동적으로 제거합니다.
CCR은 Elasticsearch 6.7 및 7.0 버전에서 GA 버전을 정식으로 출시합니다.
이 특성은 Elasticsearch의 상업적 특성으로 백금 구독이 필요합니다.
장면 사용
많은 회사의 업무가 이미 온 나라에 널리 퍼졌고 심지어 글로벌화될 수도 있다.CCR을 통해 다음 장면의 문제를 해결할 수 있습니다.

클러스터링 고가용성 및 재해 복구

데이터의 접근(지리)을 실현한다

집중적인 보고 집단

CCR is perfect for a number of use cases, including cross data center replication for high availability or disaster recovery, data locality (keeping copies of data closer to users), and creating a dedicated, centralized analytics cluster populated by multiple source clusters.
첫 번째 장면은 Elasticsearch 집단의 고가용성과 재난 복구를 확보하기 위해 여러 세트의 Elasticsearch 집단을 배치하고 서로 다른 지역의 데이터 센터에 분포한 다음에 CCR을 이어서 데이터를 실시간으로 동기화합니다. 만약에 그 중의 데이터 센터가 연결되지 않거나 불가항력적인 요소, 예를 들어 태풍, 지진과 같이 우리는 남은 집단에 접근해서 완전한 데이터를 얻을 수 있습니다.
두 번째 장면에서 데이터의 접근은 하나의 큰 그룹이라고 가정하면 본사와 지사가 있고 지리적 위치에 따라 지사 자체의 업무 집단을 구분한다. 서로 다른 도시의 업무 데이터는 각자의 집단을 사용할 수 있다. 이렇게 하면 현지 업무를 신속하게 처리할 수 있다. 그러나 일부 데이터도 있다. 본사가 보낸 데이터일 수도 있고 각 지사는 읽을 수 밖에 없다. 예를 들어 일부 메타데이터,우리는 CCR을 빌려 이 부분의 데이터를 각 지사의 Elasticsearch 집단에 보낼 수 있다. 이렇게 하면 각 지사는 실시간으로 최신 데이터를 얻고 각자의 로컬 집단에 직접 방문하면 방문 속도를 크게 높일 수 있다.
세 번째 장면은 집중적인 보고 분석을 하고 위의 사례를 이어서 우리는 우리의 업무 데이터를 거꾸로 처리한다. 우리는 각 지사의 업무 데이터를 본사의 Elasticsearch 집단에 실시간으로 동기화한다. 그러면 본사는 각 지사의 완전한 자료를 가지게 된다. 이렇게 보고 분석을 할 때 본사의 Elasticsearch 집단에서 신속하게 가시화 분석을 할 수 있다.
Elasticsearch CCR 구축 단계:
1. 로컬 및 원격 클러스터에 Elasticsearch(local and remote) 설치
2.cross-cluster replication 기능이 포함된 라이센스를 가져오려면 백금 버전의 Elasticsearch가 필요합니다.
3. Elasticsearch 보안 기능을 켜면 계정을 설정해야 합니다
-- Elasticsearch에 대한 라이센스 조회:

-- xpack ：
# curl -X GET "localhost:9200/_xpack/?pretty"
{
  "build" : {
    "hash" : "65b6179",
    "date" : "2019-05-15T20:07:59.571448Z"
  },
  "license" : null,
  "features" : {
    "ccr" : {
      "description" : "Cross Cluster Replication",
      "available" : true,
      "enabled" : true
    },
    "graph" : {
      "description" : "Graph Data Exploration for the Elastic Stack",
      "available" : true,
      "enabled" : true
    },
    "ilm" : {
      "description" : "Index lifecycle management for the Elastic Stack",
      "available" : true,
      "enabled" : true
    },
    "logstash" : {
      "description" : "Logstash management component for X-Pack",
      "available" : true,
      "enabled" : true
    },
    "ml" : {
      "description" : "Machine Learning for the Elastic Stack",
      "available" : true,
      "enabled" : true,
      "native_code_info" : {
        "version" : "6.8.0",
        "build_hash" : "e6cf25e2acc5ec"
      }
    },
    "monitoring" : {
      "description" : "Monitoring for the Elastic Stack",
      "available" : true,
      "enabled" : true
    },
    "rollup" : {
      "description" : "Time series pre-aggregation and rollup",
      "available" : true,
      "enabled" : true
    },
    "security" : {
      "description" : "Security for the Elastic Stack",
      "available" : true,
      "enabled" : false
    },
    "sql" : {
      "description" : "SQL access to Elasticsearch",
      "available" : true,
      "enabled" : true
    },
    "watcher" : {
      "description" : "Alerting, Notification and Automation for the Elastic Stack",
      "available" : true,
      "enabled" : true
    }
  },
  "tagline" : "You know, for X"
}

 Cross Cluster Replication  。

참조:
https://discuss.elastic.co/t/dec-22nd-2018-cn-elasticsearch-ccr/161626
https://www.elastic.co/guide/en/elastic-stack-overview/current/ccr-getting-started.html