🚀YugabyteDB 🐘pgreplay에서 실제 애플리케이션 테스트

데이터베이스에서 워크로드를 캡처하고 재생하려고 할 수 있습니다. Oracle에는 RAT(Real Application Testing)가 있고 PostgreSQL에는 Laurenz Albe가 관리하는 pgreplay(https://github.com/laurenz/pgreplay)가 있습니다.

PostgreSQL 호환 오픈 소스 분산 SQL 데이터베이스인 YugabyteDB는 postgres 쿼리 계층을 사용하고 pgreplay를 대상 또는 소스로 사용할 수 있습니다. 이것이 PostgreSQL 코드 베이스에 분산 기능을 추가하는 아름다움입니다. 다음은 모든 것이 예상대로 작동하는지 확인하기 위해 실행한 빠른 테스트입니다.

노드가 하나만 있는 랩에서 이 예제를 실행하겠습니다. 로그 대상을 csvlog 로 정의하고 documentation에서 권장하는 대로 로그 매개변수를 설정합니다.

docker run -v /var/tmp/yb:/var/tmp \
 -d --rm --name yb yugabytedb/yugabyte:2.15.2.0-b87 \
bash -c '

cat > tserver.flagfile <<CAT
--ysql_pg_conf_csv=\
log_destination=csvlog,\
log_statement=all,\
log_min_messages=error,\
log_min_error_statement=log,\
log_connections=on,\
log_disconnections=on
CAT

yugabyted start --tserver_flags=flagfile=tserver.flagfile 

while true ; do tail -F /root/var/logs/tserver/postgres* ; done
'

/var/tmp를 외부 볼륨으로 내보냅니다. 여기에서 재생하려는 워크로드에 대한 로그를 복사합니다. pg_rotate_logfile()로 로그를 회전하고 pg_current_logfile()로 파일 이름을 가져옵니다. YugabyteDB 쿼리 레이어(YSQL)는 PostgreSQL이므로 동일한 매개변수와 기능을 사용할 수 있습니다.
pgbench개의 테이블을 초기화합니다(pgbench는 YugabyteDB 배포에서 ysql_bench이며 몇 가지 추가 기능을 추가하지만 PostgresSQLpgbench을 사용할 수도 있습니다):

docker exec -i yb bash -c '

/home/yugabyte/postgres/bin/ysql_bench -i 

'

포착

나는 간단한 pgbench 를 실행하고 이전에 로그 파일을 회전하도록 주의하며 마지막에 /var/tmp 에 복사합니다.

docker exec -i yb bash -c "

ysqlsh -c \"select pg_rotate_logfile()\"

/home/yugabyte/postgres/bin/ysql_bench -n

ysqlsh -tc \"
select format('cp %L /var/tmp/workload.csv',pg_current_logfile())
\" | sh -x

"

이 csvlog 워크로드를 다루는 pgbench는 /var/tmp/workload.csv이며 재생할 준비가 되었습니다.

일반적으로 초기 상태에서 데이터베이스의 복제본(참조) 또는 pg_dump(ysql_dump는 YugabyteDB 버전임)에서 재생합니다.

여기서는 pgbench -i 로 다시 초기화하겠습니다. 또한 재생을 확인하기 위해 행을 세고 합산합니다(pgbench는 임의의 양을 사용함).

docker exec -i yb bash -c '
ysqlsh -c "select count(*), sum(abalance) from ysql_bench_accounts;"
/home/yugabyte/postgres/bin/ysql_bench -i 
ysqlsh -c "select count(*), sum(abalance) from ysql_bench_accounts;"
'

다시 하다

pgreplay로 도커 이미지를 만듭니다.

git clone https://github.com/laurenz/pgreplay.git
cd pgreplay
docker build -t laurenz/pgreplay -f Dockerfile .

csvlog 를 살펴보는 것은 흥미로울 수 있습니다. 이를 위해 VisiData를 사용하고 있습니다. pip3 install visidata와 함께 설치하거나 도커 이미지를 함께 사용하여 /var/tmp/yb 볼륨을 마운트할 수 있습니다.

docker run --rm -it -w /logs -v /var/tmp/yb:/logs \
jauderho/visidata:latest \
workload.csv

헤더는 없지만 형식은 https://www.postgresql.org/docs/current/runtime-config-logging.html#RUNTIME-CONFIG-LOGGING-CSVLOG에 설명되어 있습니다.

위에서 빌드한 이미지의 컨테이너에서 pgreplay를 실행하고 볼륨에 액세스하여 csvlog로 -v를 읽고 데이터베이스에 액세스하여 --link로 명령문을 실행합니다.

docker run --rm -ti -w /logs --link yb:yb \
-v /var/tmp/yb:/logs \
laurenz/pgreplay pgreplay -c -h yb -p 5433 \
/logs/workload.csv

재생을 확인하기 위해 동일한 값이 있는지 확인합니다.

docker exec -i yb bash -c '
ysqlsh -c "select count(*), sum(abalance) from ysql_bench_accounts;"
'

이 블로그는 단지 YugabyteDB와 작동하는지 확인하기 위한 것이었습니다. 자세한 내용은 pgreplay documentation을 확인하십시오. 모두 YugabyteDB에서 동일하게 작동합니다. 여러 데이터베이스 노드의 연결에서 워크로드를 캡처하려는 경우 각 노드에는 로그 파일이 있습니다. 병합할 수 있습니다. 세션 ID(시작 시간 및 백엔드 pid에서 빌드된 csvlog의 6번째 필드는 다른 필드와 충돌하지 않을 수 있지만 원하는 경우 노드 번호를 연결하여 고유하게 만들 수 있습니다.) 재생은 하나의 노드에 연결되지만 HA 프록시를 통해 여러 노드에 연결을 분산할 수 있습니다. 모두 캡처하려는 항목과 재생하려는 대상에 따라 다릅니다. PostgreSQL에서 캡처하고 YugabyteDB로 재생하는 것도 성능 저하 없이 모두 동일하게 작동하는지 확인하는 좋은 방법입니다.