rowid 논리를 통해 병렬 추출 데이터
예를 들어 우리는 40G 정도의 큰 표를 가지고 있는데 한 달 동안 월별로 데이터를 나누는 것이다. 이때 가능한 한 빨리 데이터를 다른 라이브러리로 추출하려면 몇 가지 방법이 있다.
방법 1:
모두가 알고 있는 append를 사용하고 로그를 쓰지 않습니다.parallel 추출 방식:
코드는 다음과 같습니다.
alter session enable parallel DML;
ALTER SESSION SET db_file_multiblock_read_count=128;
INSERT /*+append parallel(b 2)*/
INTO OS_USER_SERVICE_HIS_1 b
SELECT /*+FULL(a) PARALLEL(A,2)*/
* FROM OS_USER_SERVICE_HIS A
WHERE CREATETIME >= TO_DATE('20110906', 'yyyymmdd');
방법2:
4개의 세션을 여는 방법:
createtime 논리적으로 4개의 시간 구간을 병행 처리합니다. 예를 들어 한 달이면 1 세션 처리 1주일로 나누고 4 세션 처리 4주까지 진행합니다.
, 물론 너도 다시 세분화할 수 있다. 1 회화 쓰기는 한 시간 한 시간 순환해서 처리한다.
방법 3:
rowid 병렬 사용:
여기서 나는 rowid를 병행하는 방법을 중요하게 말한다.
실제 사례:
create table ROWID_OS_USER_BEHAVIOR_201212
(
ID NUMBER,
ROWID_MIN VARCHAR2(32),
ROWID_MAX VARCHAR2(32),
FLAG NUMBER
);
먼저 rowid 저장 테이블을 만듭니다.
원격 라이브러리의 데이터 가져오기object_id:
SQL> select data_object_id from [email protected] where object_name='OS_USER_BEHAVIOR_MONTH' and subobject_name='OS_USER_BEHAVIOR_MONTH2012M12'
2 ;
DATA_OBJECT_ID
--------------
218043
- 원격 라이브러리의 최소, 최대 rowid를 가져옵니다.
SQL> insert into rowid_os_user_behavior_201212(id,rowid_min,rowid_max,FLAG)
2 select rownum,
3 [email protected](1,218043,e.RELATIVE_FNO,e.BLOCK_ID,0),
4 [email protected](1,218043,e.RELATIVE_FNO,e.BLOCK_ID+e.BLOCKS-1,10000),
5 0
6 from [email protected] e where e.segment_name='OS_USER_BEHAVIOR_MONTH'
7 and e.owner='OSS01'
8 and partition_name='OS_USER_BEHAVIOR_MONTH2012M12'
9 ;
659 rows inserted;
commit;
- 원격 파티션에 해당하는 extents 범위의 rowid를 테이블에 넣습니다.
삽입이 완료되면 질의 결과는 다음과 같습니다.
SQL> select * from rowid_os_user_behavior_201212 where flag =0 and rownum =1; ID ROWID_MIN ROWID_MAX FLAG ---------- -------------------------------- -------------------------------- ---------- 422 AAA1O7AAxAADDgJAAA AAA1O7AAxAADFgICcQ 0
끌어당기는 데이터 저장 프로세스를 작성합니다. 다음과 같습니다.
create or replace procedure p_ods_os_user_beha_month(i integer) is
vSTATEDATE dbms_sql.NUMBER_Table;
vUSERNUMBER dbms_sql.VARCHAR2_Table;
vSERVICEID dbms_sql.NUMBER_Table;
vOPERTYPE dbms_sql.NUMBER_Table;
vRECVCOUNT dbms_sql.NUMBER_Table;
vSENDCOUNT dbms_sql.NUMBER_Table;
vTOTALCOUNT dbms_sql.NUMBER_Table;
vPRESENDCOUNT dbms_sql.NUMBER_Table;
vENTERPRISEFLAG dbms_sql.NUMBER_Table;
vENTERPRISESHEETNO dbms_sql.VARCHAR2_Table;
vCREATETIME dbms_sql.DATE_Table;
vMODIFYTIME dbms_sql.DATE_Table;
vPROVCODE dbms_sql.NUMBER_Table;
vSERVICEITEM dbms_sql.VARCHAR2_Table;
vCARDTYPE dbms_sql.NUMBER_Table;
vAREACODE dbms_sql.NUMBER_Table;
vBINDTYPEID dbms_sql.NUMBER_Table;
vORDERTYPE dbms_sql.NUMBER_Table;
vMAILSERVICEITEM dbms_sql.VARCHAR2_Table;
/* vCounter number := 1;*/
vCounter_out number := 0;
cur_syncdata sys_refcursor;
begin
for x in (select *
from rowid_OS_USER_BEHAVIOR_201212
where mod(id, 4) = i --- i;
and flag = 0) loop
begin
open cur_syncdata for
select /*+rowid(t))*/
STATEDATE,
USERNUMBER,
SERVICEID,
OPERTYPE,
RECVCOUNT,
SENDCOUNT,
TOTALCOUNT,
PRESENDCOUNT,
ENTERPRISEFLAG,
ENTERPRISESHEETNO,
CREATETIME,
MODIFYTIME,
PROVCODE,
SERVICEITEM,
CARDTYPE,
AREACODE,
BINDTYPEID,
ORDERTYPE,
MAILSERVICEITEM
from [email protected] t
where rowid >= chartorowid(x.rowid_min)
and rowid <= chartorowid(x.rowid_max);
loop
begin
fetch cur_syncdata bulk collect
into vSTATEDATE, vUSERNUMBER, vSERVICEID, vOPERTYPE, vRECVCOUNT, vSENDCOUNT, vTOTALCOUNT, vPRESENDCOUNT, vENTERPRISEFLAG, vENTERPRISESHEETNO, vCREATETIME, vMODIFYTIME, vPROVCODE, vSERVICEITEM, vCARDTYPE, vAREACODE, vBINDTYPEID, vORDERTYPE, vMAILSERVICEITEM limit 5000;
forall row in 1 .. vUSERNUMBER.count()
insert into OS_USER_BEHAVIOR_MONTH_201212
(STATEDATE,
USERNUMBER,
SERVICEID,
OPERTYPE,
RECVCOUNT,
SENDCOUNT,
TOTALCOUNT,
PRESENDCOUNT,
ENTERPRISEFLAG,
ENTERPRISESHEETNO,
CREATETIME,
MODIFYTIME,
PROVCODE,
SERVICEITEM,
CARDTYPE,
AREACODE,
BINDTYPEID,
ORDERTYPE,
MAILSERVICEITEM)
values
(vSTATEDATE(row),
vUSERNUMBER(row),
vSERVICEID(row),
vOPERTYPE(row),
vRECVCOUNT(row),
vSENDCOUNT(row),
vTOTALCOUNT(row),
vPRESENDCOUNT(row),
vENTERPRISEFLAG(row),
vENTERPRISESHEETNO(row),
vCREATETIME(row),
vMODIFYTIME(row),
vPROVCODE(row),
vSERVICEITEM(row),
vCARDTYPE(row),
vAREACODE(row),
vBINDTYPEID(row),
vORDERTYPE(row),
vMAILSERVICEITEM(row));
vCounter_out := vCounter_out + sql%rowcount;
commit;
/* if vCounter = 1000 then
begin
dbms_lock.sleep(3);
vCounter := 0;
end;
end if;*/
exit when cur_syncdata%notfound;
exception
when others then
dbms_output.put_line(sqlerrm);
rollback;
return;
end;
end loop;
end;
-- ：
update rowid_OS_USER_BEHAVIOR_201212 set flag = 1 where id = x.id;
commit;
end loop;
dbms_output.put_line(' ' || vCounter_out || ' !');
end;
그리고 4개의 세션을 열어 각각 0,1,2,3으로 전송하면 됩니다.
30G의 데이터는 테스트를 거쳐 4개의 프로세스를 병행하면 40분 정도 끌 수 있다. 이곳의 응용은 당기는 데이터는 dml의 데이터가 자주 필요하기 때문에 장점이 비교적 뚜렷하다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
