목표

저는 SQL Server에 익숙하기 때문에 일반적으로 SQL Server 통합 서비스(이하 SSIS)를 주저하지 않고 사용합니다.
하지만 일단 채택되기 시작하면

SSIS가 ETL을 개발한 적이 없음

근데 SSIS가 뭐예요?아!Visual Studio가 있습니까?아!Windows 환경에서만 개발할 수 있습니까?아!허가증 비용, 이렇게 많이 들어요!!!나는 이런 확률이 매우 높다는 것을 깊이 느꼈다.
우리는 Microsoft Azure Data Factory가 가능한 한 낮은 원가와 양호한 지원을 받을 수 있는 제품 서비스 중 하나로 ETL 개발을 실현할 수 있는지 검증했다.

참고 자료

Copy data from Blob Storage to SQL Database using Data Factory

준비

Microsoft Azure 가입

일부 MSDN 구독자는 MSDN 구독 혜택에서 Azure를 활성화할 수 있습니다

Visual Studio Dev Essentials에 서명하여 1년 동안 매월 25달러씩 Azure

를 사용할 수 있습니다.

Blob 스토리지 계정을 만들고 계정 이름과 액세스 키를 기록합니다.

컨테이너 동시 생성

SQL 데이터베이스(빈 데이터베이스)를 만들고 사용자 이름과 암호를 기록합니다.

생성 시 Azure 서비스 액세스 허용

적절한 CSV 파일 만들기

emp.csv

John, Doe
Jane, Doe

생성된 CSV를 이전에 생성된 Blob 스토리지에 업로드합니다.

본 강좌는 Azure Store Explore를 사용하지만 Azure Portal에서 업로드할 수도 있습니다.

SQL 데이터베이스에서 테이블을 생성하는 DDL

emp.sql

 CREATE TABLE dbo.emp
 (
     ID int IDENTITY(1,1) NOT NULL,
     FirstName varchar(50),
     LastName varchar(50),
 )
 GO

 CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

완료되면 Visual Studio Code에서 Azure SQL 데이터베이스에 연결하고 테이블을 만듭니다.
※ Visual Studio Code에서 SQL Server를 연결하려면 여기 를 참조하십시오.

데이터베이스 생성

Azure 포털에서 검색Data Factory하고 마법사에 따라 만듭니다.(자세한 상황은 사랑을 끊는다)
만든 후 포털에서 데이터 팩스를 열고 データをコピー (プレビュー) 을 클릭합니다.

다른 화면이 열립니다.Task name 또한 기본 입력 항목과 선택 항목을 사용하므로 Next 을 클릭합니다.
Azure Blob Storage를 선택한 다음 Next 을 클릭합니다.
Connection name 자동 입력을 사용합니다.Storage account name CSV 파일을 저장할 파일을 선택한 다음Next을 클릭합니다.
emp.csv 파일을 선택하고 Choose 를 클릭합니다.

선택한 폴더 이름과 파일 이름을 확인하고 Next 을 클릭합니다.

CSV 파일 형식을 확인하고 다음 미리보기에서 원하는 형식으로 식별되는지 확인한 다음 Next 을 클릭합니다.

대상 설정에서 Azure SQL Database 을 선택한 다음 Next 을 클릭합니다.
Connection name 자동 입력을 사용합니다.SQL 데이터베이스 서버 및 데이터베이스를 선택하고 User name 및 Password 를 입력한 다음 Next 을 클릭합니다.

대상 테이블 (이전에 만든emp 테이블) 을 선택하고 Next 을 누르십시오.

CSV 열과 테이블 열의 매핑을 확인하고 문제가 없으면 Next 을 클릭합니다.

이 항목은 이번에 특별한 설정이 없기 때문에 Next 을 누르십시오.

요약을 보고 Finish 를 클릭하여 배포를 시작합니다.

배치가 시작되었는지 확인하고 한동안 기다리십시오.

가져오기가 완료되면 Click here ... 을 클릭합니다.

나는 톱니바퀴가 화면 중앙 위에서 회전하고 싶다.수확 중입니다.

가져오기가 완료되면 SQL 데이터베이스를 질의합니다.

이렇게 되면 데이터가 잘 들어간 것을 확인했다.아이디 열은 자동으로 번호가 매겨지는군요.

감상

간단한 데이터 복사라면 그렇게 어렵지 않을 것 같습니다.
데이터 성형이 조금 필요한 것은 Azure Data Factory에서도 할 수 있을 것 같아서 저는 계속 제 방식대로 정리하고 싶습니다.