소개

Azure Data Factory(이하, ADF)는 다양한 데이터 소스를 지원합니다.
이번에는 웹의 테이블에서 데이터를 검색하는 방법을 요약합니다.

※web페이지에의 부담을 너무 걸리지 않도록 주의해 주십시오.

전제

Self-Hosted IR을 설치한 기계가 필요합니다.

Self-Hosted IR에 대해서는 여기

일부 검색 대상 확인을 위해 Excel 또는 Power BI를 사용합니다.

절차

참고 링크

취득처는 아래와 같은 국세청 사이트 내의 기업 규모별 평균 급여 링크로 합니다.
h tp // w w. 응. . jp / 푸 b ぃ カ チ オン / s 들 s 치 cs / 코쿠 치이 쵸 / 감귤 1997 / 메누 / 04. htm

절차의 흐름은 다음과 같습니다.

대상에 대한 링크 된 서비스 만들기

색인 확인

데이터 세트 만들기

받는 사람에게 링크 된 서비스 만들기

new에서 링크된 서비스를 만듭니다.



웹을 선택하고,


Self-Hosted IR을 통해 검색하도록 설정하고 URL을 지정합니다.


※Test Connection 해 둡시다.

색인 확인

Power BI 또는 Excel에서 대상 테이블의 인덱스를 확인합니다.
Excel이라면


Power BI의 경우


URL을 지정합니다.


데이터 변환


고급 편집기에서 색인을 확인합니다.


아래의 숫자가 인덱스가 됩니다.

데이터세트 만들기

ADF로 돌아가 데이터 세트를 작성하십시오.


LinkedService는 방금 만든 것을 선택하고 인덱스는 확인한 "0"을 넣습니다.


미리보기 결과는 다음과 같이 나타납니다. 클렌징이 필요할 것 같네요.


그리고는 Copy 액티비티등으로, Storage에 토하는 것도 좋고, Mapping Data Flow로 변환해 DB에 기입하는 것도 좋습니다.

이상