🚀 해시+해시 파티셔닝+샤딩

YugabyteDB에는 SQL 수준의 분할, PostgreSQL 선언적 분할, 테이블/인덱스/파티션 수준의 분할, 자동 해시 또는 범위 분할이 있습니다. 나는 이전 blog post에서 그것들을 설명했습니다. 즉, 샤딩은 클러스터 전체에 데이터를 자동으로 배포하는 데 사용됩니다. 파티셔닝은 데이터를 함께 그룹화하는 데 사용됩니다. 예를 들어 타임스탬프에서 범위별로 분할하여 정보 수명주기 관리를 위해 시간대에 함께 배치합니다. 또는 국가 목록에서 그룹화하여 데이터 상주를 위해 특정 지역에 매핑합니다. 또는 테넌트 목록을 그룹화하여 다른 테넌트와 격리합니다.

PostgreSQL에는 해시 분할도 있지만 주요 목표가 배포이기 때문에 YugabyteDB에서 사용하지 않을 수 있습니다. 이는 더 많은 파티션, 자동 재조정, 글로벌 인덱스 등 태블릿으로 샤딩하는 것이 더 좋습니다.

하지만 해시 파티셔닝과 해시 샤딩이 필요하다고 생각되면 절대 안 된다고 말하지 마십시오. 해싱 방법이 분산 데이터와 함께 잘 작동하는지 확인하는 것이 중요합니다. 기본적으로 각 파티션 내에서 태블릿으로의 샤딩이 균형을 이루기를 원합니다. 한 가지 방법은 알고리즘을 보는 것입니다. 다른 하나는 특정 데이터 유형만 테스트하는 것입니다.

여기서는 n 파티션이 있는 테이블을 만들고 백만 개의 행으로 채우고 YugabyteDB 해시 함수인 각각의 yb_hash_code()를 살펴보겠습니다.

이것은 내가 실행한 스크립트이며 1개에서 50개 파티션까지 이 작업을 수행합니다.

c=1000000
for n in {1..50} ; do
  echo "
  $n Partitions, $c rows:"
  {
    cat <<SQL
    drop table demo;
    create extension if not exists pgcrypto;
    create table demo (id uuid default gen_random_uuid(), val int) partition by hash(id);
SQL
    for i in $(seq 0 $(( $n -1 ))) ; do
    cat <<SQL
    create table demo$i partition of demo for values with (modulus $n , remainder $i);
SQL
    done
    cat <<SQL
    insert into demo ( val) select generate_series(1,$c);
SQL
    for i in $(seq 0 $(( $n -1 ))) ; do
    cat <<SQL
    select format('Partition %s / %s : min= %s max= %s -> %s %% rows',to_char($i,'99'),to_char($n,'99'),min(yb_hash_code(id)),max(yb_hash_code(id)),100*count(*)/$c) from demo$i;
SQL
    done
  } | psql -p 5433
done | grep Partition | tee hash-hash.log

결과:

1 Partitions, 1000000 rows:
 Partition   0 /   1 : min= 0 max= 65535 -> 100 % rows
2 Partitions, 1000000 rows:
 Partition   0 /   2 : min= 0 max= 65535 -> 49 % rows
 Partition   1 /   2 : min= 0 max= 65535 -> 50 % rows
3 Partitions, 1000000 rows:
 Partition   0 /   3 : min= 0 max= 65535 -> 33 % rows
 Partition   1 /   3 : min= 0 max= 65535 -> 33 % rows
 Partition   2 /   3 : min= 0 max= 65535 -> 33 % rows
4 Partitions, 1000000 rows:
 Partition   0 /   4 : min= 0 max= 65535 -> 25 % rows
 Partition   1 /   4 : min= 0 max= 65535 -> 24 % rows
 Partition   2 /   4 : min= 0 max= 65535 -> 24 % rows
 Partition   3 /   4 : min= 0 max= 65535 -> 24 % rows
5 Partitions, 1000000 rows:
 Partition   0 /   5 : min= 0 max= 65535 -> 19 % rows
 Partition   1 /   5 : min= 0 max= 65535 -> 20 % rows
 Partition   2 /   5 : min= 0 max= 65535 -> 20 % rows
 Partition   3 /   5 : min= 0 max= 65535 -> 19 % rows
 Partition   4 /   5 : min= 0 max= 65535 -> 20 % rows
6 Partitions, 1000000 rows:                                                                  [183/1982]
 Partition   0 /   6 : min= 0 max= 65535 -> 16 % rows
 Partition   1 /   6 : min= 0 max= 65535 -> 16 % rows
 Partition   2 /   6 : min= 0 max= 65535 -> 16 % rows
 Partition   3 /   6 : min= 0 max= 65535 -> 16 % rows
 Partition   4 /   6 : min= 0 max= 65535 -> 16 % rows
 Partition   5 /   6 : min= 0 max= 65534 -> 16 % rows
7 Partitions, 1000000 rows:
 Partition   0 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   1 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   2 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   3 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   4 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   5 /   7 : min= 0 max= 65535 -> 14 % rows
 Partition   6 /   7 : min= 0 max= 65534 -> 14 % rows
8 Partitions, 1000000 rows:
 Partition   0 /   8 : min= 2 max= 65535 -> 12 % rows
 Partition   1 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   2 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   3 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   4 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   5 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   6 /   8 : min= 0 max= 65535 -> 12 % rows
 Partition   7 /   8 : min= 0 max= 65535 -> 12 % rows
...
50 Partitions, 1000000 rows:
 Partition   0 /  50 : min= 2 max= 65534 -> 1 % rows
 Partition   1 /  50 : min= 2 max= 65531 -> 2 % rows
 Partition   2 /  50 : min= 5 max= 65527 -> 1 % rows
 Partition   3 /  50 : min= 3 max= 65534 -> 2 % rows
 Partition   4 /  50 : min= 2 max= 65532 -> 2 % rows
 Partition   5 /  50 : min= 0 max= 65530 -> 1 % rows
 Partition   6 /  50 : min= 6 max= 65534 -> 2 % rows
 Partition   7 /  50 : min= 0 max= 65526 -> 2 % rows
 Partition   8 /  50 : min= 3 max= 65535 -> 2 % rows
 Partition   9 /  50 : min= 3 max= 65535 -> 1 % rows
 Partition  10 /  50 : min= 4 max= 65534 -> 1 % rows
 Partition  11 /  50 : min= 2 max= 65535 -> 1 % rows
 Partition  12 /  50 : min= 2 max= 65533 -> 2 % rows
 Partition  13 /  50 : min= 0 max= 65535 -> 1 % rows
 Partition  14 /  50 : min= 14 max= 65529 -> 2 % rows
 Partition  15 /  50 : min= 0 max= 65530 -> 1 % rows
 Partition  16 /  50 : min= 0 max= 65535 -> 2 % rows
 Partition  17 /  50 : min= 4 max= 65528 -> 1 % rows
 Partition  18 /  50 : min= 1 max= 65533 -> 1 % rows
 Partition  19 /  50 : min= 6 max= 65532 -> 1 % rows
 Partition  20 /  50 : min= 0 max= 65533 -> 2 % rows
 Partition  21 /  50 : min= 0 max= 65535 -> 1 % rows                                         
 Partition  22 /  50 : min= 4 max= 65534 -> 2 % rows
 Partition  23 /  50 : min= 1 max= 65529 -> 2 % rows
 Partition  24 /  50 : min= 2 max= 65530 -> 2 % rows
 Partition  25 /  50 : min= 5 max= 65529 -> 2 % rows
 Partition  26 /  50 : min= 3 max= 65518 -> 1 % rows
 Partition  27 /  50 : min= 4 max= 65534 -> 1 % rows
 Partition  28 /  50 : min= 0 max= 65529 -> 1 % rows
 Partition  29 /  50 : min= 6 max= 65530 -> 2 % rows
 Partition  30 /  50 : min= 7 max= 65522 -> 2 % rows
 Partition  31 /  50 : min= 11 max= 65533 -> 2 % rows
 Partition  32 /  50 : min= 2 max= 65534 -> 1 % rows
 Partition  33 /  50 : min= 1 max= 65526 -> 2 % rows
 Partition  34 /  50 : min= 3 max= 65535 -> 2 % rows
 Partition  35 /  50 : min= 4 max= 65534 -> 2 % rows
 Partition  36 /  50 : min= 2 max= 65534 -> 2 % rows
 Partition  37 /  50 : min= 0 max= 65528 -> 1 % rows
 Partition  38 /  50 : min= 2 max= 65532 -> 2 % rows
 Partition  39 /  50 : min= 0 max= 65534 -> 2 % rows
 Partition  40 /  50 : min= 1 max= 65527 -> 2 % rows
 Partition  41 /  50 : min= 1 max= 65535 -> 1 % rows
 Partition  42 /  50 : min= 0 max= 65535 -> 2 % rows
 Partition  43 /  50 : min= 5 max= 65533 -> 2 % rows
 Partition  44 /  50 : min= 7 max= 65533 -> 1 % rows
 Partition  45 /  50 : min= 10 max= 65534 -> 2 % rows
 Partition  46 /  50 : min= 2 max= 65534 -> 2 % rows
 Partition  47 /  50 : min= 4 max= 65534 -> 1 % rows
 Partition  48 /  50 : min= 1 max= 65526 -> 1 % rows
 Partition  49 /  50 : min= 4 max= 65528 -> 2 % rows

각 파티션에는 샤딩(해시 코드 범위 기준)에 사용되는 전체 범위의 해시 코드(0에서 65535까지)가 있으며 파티션에 대한 행 분포는 균형이 잘 맞습니다.

파티션 하나를 선택하고 yb_hash_code() 재파티션을 살펴봅니다.

yugabyte=# 

           select n,count(h) from (
            select yb_hash_code(id) h,count(*) n
            from demo42 group by yb_hash_code(id)
           ) x  group by n order by n;

 n | count
---+-------
 1 | 14791
 2 |  2216
 3 |   233
 4 |    18
 5 |     3
(5 rows)

이 파티션의 20009에 있는 14791개의 행에 대해 yb_hash_code()는 한 행에만 매핑됩니다. 그리고 5개의 행에 매핑되는 yb_hash_codes()는 3개뿐입니다. 이는 파티션이 이미 해시 분할의 결과인 경우에도 파티션 내에서 양호한 분포를 보여줍니다.

각 파티션은 다음과 같습니다.

여기에서 이 파티션은 yb_hash_code()의 3가지 범위에서 3개의 정제로 분할됩니다. hash_split: [0x0000, 0x5555)는 0에서 21844까지, hash_split: [0x5555, 0xAAAA)는 21845에서 43689까지, hash_split: [0xAAAA, 0xFFFF]는 43690에서 65535까지입니다. 데이터가 더 많을수록 더 나눕니다.

해싱 알고리즘은 매우 다릅니다. PostgreSQL은 모듈로 온 해시 값을 사용합니다. 이를 위해서는 파티션의 개수를 처음부터 알고 있어야 합니다. YugabyteDB는 범위를 사용하므로 더 쉽게 분할할 수 있습니다. 차이점에 대한 좋은 정보는 다음과 같습니다. https://ben.kirw.in/2018/12/02/hash-range-partitioning/

요약하면 Hash Partitioning + Hash Sharding은 데이터를 분산시키는 역할을 합니다. 파티션 키와 데이터 유형에 대해 테스트할 수 있습니다. 그러나 가장 중요한 것은 필요하지 않아야 한다고 생각합니다. 해시 샤딩만으로도 충분합니다. 해시 샤딩을 사용하면 많은 태블릿을 보유할 수 있습니다. 65535 해시 코드 값과 recommended tablet count and size 을 사용하여 매우 큰 테이블을 배포할 수 있습니다. 하지만 그렇게 생각하신다면 유스 케이스에 대해 알고 싶습니다.