분포식 데이터베이스는 대륙을 뛰어넘어 배치할 수 있다.물론 이는 수백 밀리초 내에 약간의 지연을 도입하지만, 목표가 지역이 중단된 상태에서 가용성을 유지하는 것은 받아들일 수 있다.이것은 간단한 시범이다.유럽, 아메리카 및 아시아에 3개의 노드가 있는 RF=3 클러스터를 설치했습니다.

이것은 outDBaaS platform에서 온 보기로 분포식 SQL 데이터베이스에 간단한 GUI를 제공합니다.이 세 지역은 AWS:eu-west-1은 베를린(아일랜드), us-east-2는 오하이오(미국), ap-south-1b는 벵골(인도)에 위치하고 있습니다. eu-west-1만'우선'리더십으로 표시하는 것을 보실 수 있습니다.

이 지역의 모든 뗏목 지도자를 보존하기 위해 관련 규칙을 설정했다.표는 태블릿PC에 분배된다. 태블릿PC는 자신의raft 공감대 그룹이 있고 리더와 두 명의 추종자가 있다(RF=3시).안내자와 최소한의 수행자는 항상 일치하기 때문에 RF=3 집단은 한 노드가 아래로 내려간 상태에서 계속할 수 있다.모든 노드에 연결할 수 있지만 쓰기 및 읽기는 지시선에서 수행됩니다.노드에 지시선을 분포하여 부하를 분배하다.노드가 동일한 가용성 구역에 있을 때 지연이 비교적 낮으면 지도자에게 나누어 줄 수 있습니다.그러나 데이터베이스는 지역이 고장났을 때 사용할 수 없다.이런 상황은 매우 드물지만, 모든 클라우드 서비스 제공 업체에서 이미 발생한 적이 있다.이러한 상황에 적응하기 위해서, 당신은 집단을 다른 지역 (심지어 다른 클라우드 공급자) 에 배치할 수 있습니다.지연을 줄이기 위해 전체 그룹의 위치를 정의합니다.
이 경우 각 영역에는 여러 개의 노드가 있을 수 있지만 프레젠테이션을 단순화하기 위해 노드는 하나뿐입니다.

나는 스위스에 산다. 나는 유럽의 노드를 연결하고 그곳에서 가장 먼저 선택한 지도자의 위치를 정의할 것이다.읽기와 쓰기가 늦어지는 의미를 살펴봅시다.
나는 두 개의 표를 만들 것이다.하나는 산열 구분이고, 이 범위 스캔은 6개의 태블릿PC를 읽을 것이다.그리고 한 테이블에서만 조회할 수 있는 범위를 구분합니다.

drop table franck_hash;
drop table franck_range;

create table franck_hash (k int, v int, primary key(k hash)) split into 6 tablets;
create table franck_range (k int, v int, primary key(k asc)) split at values ((100),(200),(300),(400),(500));

insert into franck_hash select generate_series(100,999),1;
insert into franck_range select generate_series(100,999),1;

'친연 리더'에서 태블릿PC 목록은 같은 노드에 있는 모든 리더(172.159.25.209)를 보여줍니다.

이제 100줄을 읽고 쓰기 (업데이트) 하고 밀리초 단위의 운행 시간을 볼 것입니다.나는 메인 키에서 범위를 읽었기 때문에 교차 파편 조작이 없었다.

태블릿PC에서 읽기

\c postgres://yugabyte@eu-west-1.compute.amazonaws.com:5433/yugabyte
psql (15devel, server 11.2-YB-2.9.1.0-b0)

yugabyte=# -- read from one tablet:
yugabyte=# explain analyze select count(*),min(k),max(k)
           from franck_range
           where k between 100 and 100+99;
                                                               QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=4.12..4.13 rows=1 width=16) (actual time=0.768..0.768 rows=1 loops=1)
   ->  Index Scan using franck_range_pkey on franck_range  (cost=0.00..4.12 rows=1 width=4) (actual time=0.706..0.747 rows=100 loops=1)
         Index Cond: ((k >= 100) AND (k <= 199))
 Planning Time: 1.207 ms
 Execution Time: 0.813 ms
(5 rows)

yugabyte=# \watch 0.001

우리는 선도자로부터 태블릿 (범위는 [100200]) 을 읽었습니다. 이것은 로컬: 0.813밀리 초입니다. 다중 영역은 여기에 설정되어 영향을 주지 않습니다.

태블릿PC에 쓰다

yugabyte=# -- write in one tablet:
yugabyte=# explain analyze update franck_range 
           set v=v+1 
           where k between 100 and 100+99;
                                                               QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------
 Update on franck_range  (cost=0.00..4.12 rows=1 width=40) (actual time=1.378..1.378 rows=0 loops=1)
   ->  Index Scan using franck_range_pkey on franck_range  (cost=0.00..4.12 rows=1 width=40) (actual time=0.946..0.999 rows=100 loops=1)
         Index Cond: ((k >= 100) AND (k <= 199))
 Planning Time: 0.063 ms
 Execution Time: 127.107 ms
(5 rows)

yugabyte=# \watch 0.001

업데이트는 지시선에서 데이터를 읽고 새 값을 기록합니다.이런 상황은 유럽에서 발생하였는데, 지연은 여전히 매우 낮다.업데이트에서 실제 시간을 볼 수 있습니다: 1.378밀리초.그러나 RF=3 중재를 얻기 위해 지도자는 수행자를 동기화하기 위해 쓰기 조작을 보내고 확인을 기다린다.오하이오 아일랜드의 지연은 벵골보다 낮을 수도 있다.어쨌든 이것은 실행 시간에 볼 수 있다. 대서양을 왕복하는 데 127.107밀리초이다.
이는 영역 장애 발생 시 데이터 손실 없이 페일오버를 수행하는 데 드는 비용입니다.가장 가까운 원격 영역까지의 지연은 로컬 쓰기를 증가시킵니다.

모든 태블릿 읽기

분포식 SQL 데이터베이스에서 많은 조작은 여러 개의 태블릿PC를 읽는 것과 관련된다. 외부 키 검사, 2단계 인덱스 읽기, 병렬 사무 상태 검사.나는 모든 태블릿PC의 읽기 수를 표시하기 위해 해시가 나누는 시계를 사용한다.

yugabyte=# -- read from all tablets:
yugabyte=# explain analyze select count(*),min(k),max(k)
           from franck_hash
           where k between 100 and 100+99;

                                                    QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=112.50..112.51 rows=1 width=16) (actual time=4.109..4.109 rows=1 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..105.00 rows=1000 width=4) (actual time=0.962..4.086 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.065 ms
 Execution Time: 4.162 ms
(6 rows)
yugabyte=# \watch 0.001

지연은 더 높지만, 첫 번째 영역의 태블릿PC 리더로부터 데이터를 읽기 때문에, 밀리초 단위로 유지된다.다시 한 번, 지도자의 친화력 덕분에 다구역 배치는 읽기에 영향을 미치지 않는다.

모든 태블릿PC에 적혀있어요.

yugabyte=# -- write in all tablets:
yugabyte=# explain analyze update franck_hash
           set v=v+1
           where k between 100 and 100+99;

                                                     QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=389.627..389.627 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=1.015..388.980 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.063 ms
 Execution Time: 498.895 ms
(6 rows)

yugabyte=# \watch 0.001

쓰기 시 중재를 얻기 위해 모든 태블릿PC의 크로스 구역 지연이 추가됩니다.내 태블릿PC 여섯 개로 거의 0.5초야.여기서, 과도한 크로스 호출을 피하기 위해 데이터 모델과 응용 프로그램 설계를 고려해야 합니다.

us-east-2/us-east-2a에서 노드 정지

중요한 것은 가장 가까운 지역이다.나는 오하이오에서 노드를 멈추고 지연된 결과를 볼 것이다.\watch를 사용하여 멀티태블릿 write를 연속으로 실행합니다.

                                     Wed 01 Dec 2021 05:05:49 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=444.155..444.155 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=48.344..443.480 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.065 ms
 Execution Time: 537.800 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:49 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=441.697..441.697 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=46.783..441.126 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.065 ms
 Execution Time: 520.722 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:50 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=573.195..573.195 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=48.276..572.638 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.064 ms
 Execution Time: 799.801 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:51 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=694.457..694.457 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=89.387..693.864 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.062 ms
 Execution Time: 860.702 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:52 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=701.733..701.733 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=90.344..701.146 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.074 ms
 Execution Time: 906.075 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:53 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=810.418..810.418 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=89.464..809.829 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.063 ms
 Execution Time: 932.995 ms
(6 rows)

                                     Wed 01 Dec 2021 05:05:54 PM GMT (every 0.1s)

                                                      QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=698.900..698.900 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=90.042..698.259 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.063 ms
 Execution Time: 848.855 ms
(6 rows)

뗏목 지도자 선거를 치르지 않아도 되기 때문에 모든 지도자가 아일랜드의 노드에 있기 때문이다.그러나 지연은 증가했다. 현재 법정 인원은 더 지연된 멍메이를 기다려야 하기 때문이다.
다음 테스트에서 나는 오하이오에서 노드를 다시 가동했다.

미국 동부 2번지에 연결

지도자의 친화력을 정의하는 동일한 구역에 연결함으로써 나는 지연을 최대한 줄였다.사용자가 다른 노드에 연결되면 무슨 일이 일어날지 봅시다.여기에서, 나는 시작처럼 실행할 것이다.그러나 미국의 노드와 연결되어 있다.

\c postgres://yugabyte@us-east-2.compute.amazonaws.com:5433/yugabyte
psql (15devel, server 11.2-YB-2.9.1.0-b0)

yugabyte=# -- read from one tablet:
yugabyte=# explain analyze select count(*),min(k),max(k) from franck_range where k between 100 and 100+99;
                                                                QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=4.12..4.13 rows=1 width=16) (actual time=79.167..79.168 rows=1 loops=1)
   ->  Index Scan using franck_range_pkey on franck_range  (cost=0.00..4.12 rows=1 width=4) (actual time=79.115..79.148 rows=100 loops=1)
         Index Cond: ((k >= 100) AND (k <= 199))
 Planning Time: 0.063 ms
 Execution Time: 79.216 ms
(5 rows)

yugabyte=# -- write in one tablet:
yugabyte=# explain analyze update franck_range set v=v+1 where k between 100 and 100+99;
                                                                QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------
 Update on franck_range  (cost=0.00..4.12 rows=1 width=40) (actual time=79.463..79.463 rows=0 loops=1)
   ->  Index Scan using franck_range_pkey on franck_range  (cost=0.00..4.12 rows=1 width=40) (actual time=79.080..79.127 rows=100 loops=1)
         Index Cond: ((k >= 100) AND (k <= 199))
 Planning Time: 0.064 ms
 Execution Time: 310.338 ms
(5 rows)

yugabyte=# -- read from all tablets:
yugabyte=# explain analyze select count(*),min(k),max(k) from franck_hash where k between 100 and 100+99;
                                                     QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=112.50..112.51 rows=1 width=16) (actual time=473.667..473.667 rows=1 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..105.00 rows=1000 width=4) (actual time=79.107..473.640 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.066 ms
 Execution Time: 473.724 ms
(6 rows)

yugabyte=# -- write in all tablets:
yugabyte=# explain analyze update franck_hash set v=v+1 where k between 100 and 100+99;
                                                      QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=1106.744..1106.744 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=79.298..1106.190 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.079 ms
 Execution Time: 1264.824 ms
(6 rows)

독서는 반드시 아일랜드의 지도자에게 맡겨야 한다.단일 슬라이스는 79.216ms, 다중 슬라이스는 473.724ms입니다.만약 사용자가 미국에 있다면, 그녀는 오하이오의 노드에 연결되어 SQL 조회에서 이 지연을 얻거나, 아일랜드의 노드에 연결되어 빠른 SQL 조회를 사용하지만, 같은 지연이 사용자에게 되돌아온다는 것은 신기한 것이 없다.이 문제가 발생했을 때, 우리는 yb_read_from_followers = on 로컬에서 수동으로 읽을 수 있도록 허용할 수 있다.최종 일치성처럼 보이지만 사실은 그렇지 않다.최종적으로 일치성 데이터베이스는 예측할 수 없는 진부성을 가지고 있다. 일반적으로 비교적 낮지만 네트워크 구역을 나누는 상황에서 비교적 크다.YugabyteDB가 있으면 허용되는 최대 만료 시간yb_follower_read_staleness_ms을 정의할 수 있습니다.

선택 영역 차단 eu-west-1

마지막으로 리더십 구역에서 일어난 일은 실패했나요?3초 안에 새로운 지도자가 추종자 중에서 선출될 것이다.관련 규칙이 없으므로 나머지 두 노드와 균형이 맞습니다.

RF=3 클러스터로 인해 노드가 닫힐 수 있으므로 데이터베이스가 계속 실행 중입니다.나는 최악의 상황, 즉 멀티태블릿을 실행할 것이다.

yugabyte=# explain analyze 
           update franck_hash set v=v+1 
           where k between 100 and 100+99;

                                                       QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------
 Update on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=2023.501..2023.502 rows=0 loops=1)
   ->  Seq Scan on franck_hash  (cost=0.00..107.50 rows=1000 width=40) (actual time=194.785..2022.931 rows=100 loops=1)
         Filter: ((k >= 100) AND (k <= 199))
         Rows Removed by Filter: 800
 Planning Time: 0.062 ms
 Execution Time: 2220.721 ms
(6 rows)

오하이오와 멍메이의 지도자, 그리고 거래가 여러 대의 태블릿PC에 기록되었기 때문에, 이 서비스는 여전히 사용할 수 있지만, 지연이 매우 높다.이것은 최악의 상황이지만 데이터가 분실되지 않았다.프레젠테이션에서 나는 세 개의 먼 지역에서만 세 개의 노드를 사용했다.실제 배치에서, 당신은 지역의 가용성 구역과 더 가까운 구역에 여러 개의 노드가 있는지 확보할 것입니다.
유럽에서 노드를 다시 시작합니다.

이 지역의 태블릿PC 동업자는 자동으로 리더로 선출되었다. 왜냐하면 이 지역은 첫 번째 선택 지역이기 때문이다.

YugabyteDB 분할은 완전히 자동화됩니다.일단 배치 규칙이 정의되면, 나는 관리 컨트롤러만 사용해서 노드를 정지하고 시작할 것이다.모든 페일오버 및 로드 밸런싱은 하트비트를 통해 통신하는 노드에서 자동으로 수행됩니다.

서버 클록

메인 서버도 eu-west-a1로 옮겼습니다. 태블릿 서버에 일반적인 심장 박동을 보낼 때 왕복 지연을 확인할 수 있습니다.

현재 분명히 eu-west-1a는 멍메이보다 빠를 것이다. 우리가 이전의 테스트에서 보듯이 왕복 시간은 77.98밀리초이고 왕복 시간은 120.39밀리초이다.기본 설정 영역을 사용하여 그룹을 설정할 때 이 점을 확인하는 것이 좋습니다.너도 cloudping에서 볼 수 있다. 만약 내가 이곳에서 한 일을 재현하고 싶다면 다음은 내가 실행하는 문장이다.

drop table franck_hash;
drop table franck_range;
-- create tables
create table franck_hash (k int, v int, primary key(k hash)) split into 6 tablets;
create table franck_range (k int, v int, primary key(k asc)) split at values ((100),(200),(300),(400),(500));
-- insert rows
insert into franck_hash select generate_series(100,999),1;
insert into franck_range select generate_series(100,999),1;
-- list the nodes
select * from yb_servers();
-- read from one tablet:
explain analyze select count(*),min(k),max(k) from franck_range where k between 100 and 100+99;
-- write in one tablet:
explain analyze update franck_range set v=v+1 where k between 100 and 100+99;
-- read from all tablets:
explain analyze select count(*),min(k),max(k) from franck_hash where k between 100 and 100+99;
-- write in all tablets:
explain analyze update franck_hash set v=v+1 where k between 100 and 100+99;