📜 🐘 file_fdw가 있는 🚀 로그 파일에서 * 선택

이 시리즈의 첫 번째 게시물에서는 yb_debug_log_docdb_requests 를 사용하여 DocDB에 대한 호출을 추적했습니다. 로그는 PostgreSQL 로그 파일로 이동하지만 PostgreSQL 기능을 통해서는 이동하지 않습니다. 이는 client_min_messages 를 설정할 때 클라이언트로 가져올 수 없음을 의미합니다. 이래서 접속했던 서버에서 접속해서 pg_current_logfile()라는 파일명을 받고 OS로 갑니다. 그러나 PostgreSQL 세션에서 OS에 액세스할 수 있으며 다음은 file_fdw 의 예입니다.

나는 FDW 외부 테이블을 통해 파일에 액세스하기 위해 file_fdw 서버와 함께 YugabyteDB에 연결되어 있습니다. 타임스탬프(awk)를 해독하고 라인 번호(ts)를 추가하여 주문하는 nr 스크립트를 살펴봅니다. 또한 정보를 csv 형식으로 변환합니다. 쿼리할 때 마지막 타임스탬프가 string_add 인 하나의 행을 얻기 위해 모든 줄을 하나의 값( with as last_ts )으로 반환합니다. 다음 호출에서 새 줄gset만 표시되도록 추적하기 위해 >:'last_ts'를 사용하기 위해 이 작업을 수행합니다.

이것이 내가 모든 것을 생성하고 쿼리를 준비하기 위해 실행하는 것입니다.

# create privileges, extension, and FDW server
do $do$ begin execute $sql$ grant yb_extension,yb_fdw to $sql$ || user; end; $do$;
create extension if not exists file_fdw;
create server if not exists file_fdw foreign data wrapper file_fdw;
# create FDW table on current logfile
drop foreign table current_logfile ;
create foreign table current_logfile (ts timestamptz, nr int, log text) server file_fdw options ( program $bash$ awk '
/^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}[.][0-9]*/ { t=$1" "$2}
/^.[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}[.][0-9]*/ { t=d" "$2}
{gsub(/"/,q q);print q t q "," q NR q "," q $0 q}
' q='"' d=$(date +%Y-%m-%d) '/home/opc/10.0.0.61/var/data/yb-data/tserver/logs/postgresql-2022-07-20_000000.log'
$bash$, format 'csv');
#
select now() as last_ts
\gset
deallocate logfile;
prepare logfile(timestamp) as
select
 max(ts) as last_ts,e'\n'||string_agg(log,e'\n' order by ts,nr) log
 from current_logfile where log like 'I%' and ts>$1
;
\pset format unaligned

log like 'I%'를 사용하여 YugabyteDB 정보 메시지만 가져오도록 필터링합니다. 이것을 제거하여 PostgreSQL 메시지를 포함한 모든 줄을 표시할 수 있습니다.

이제 다음을 사용하여 마지막 호출 이후 새 줄을 표시할 수 있습니다.

execute logfile(:'last_ts');\gset

예시

-- set start timestamp and enable log docdb requests
select now() as last_ts;\gset
set yb_debug_log_docdb_requests=true;

-- run query
select count(*) from demo;

--  show log since start timestamp and reset to last time
\pset format unaligned
execute logfile(:'last_ts');
\gset
\pset format aligned

이것은 DocDB에 대한 읽기 요청을 보여줍니다.


YSQL 쿼리 레이어에서 DocDB 분산 스토리지 및 트랜잭션에 대한 호출을 더 잘 이해하기 위해 실험실에서 이것을 사용합니다.