Azure Data Explorer(ADX)는 데이터 로그 유형을 분석하는 우수한 서비스입니다.너는 그것을 처리하기 위해 데이터가 필요하다.많은 방법으로 데이터를 ADX에 섭취할 수 있습니다. 저는 Azure 데이터 공장(ADF)을 이용하여blob 저장소에서 데이터를 섭취하는 방법을 설명했습니다.

선결 조건

다음 Azure 리소스를 만들었습니다.

Azure Data Explorer

Azure Data Factory

Azure 스토리지 계정

스토리지에 로그 업로드

나는 csv를 데이터 원본으로blob 저장소에 업로드합니다.
1. 스토리지 계정으로 이동하여 "Containers"를 선택합니다.그런 다음 새 컨테이너를 추가합니다.나는 그것을'catlogs'라고 명명했다.

2. 그리고 다음 데이터가 포함된 CSV를 업로드했습니다.

name,age
chibi,3
mei,3
chelsea,2

ADX에서 데이터베이스 및 테이블 만들기

1. Azure 포털에서 ADX 계정으로 이동하여 데이터베이스 추가 를 클릭합니다.

2. 모든 이름을 제공하여 데이터베이스를 만듭니다.나는'catlogsdb'라고 부른다.

3. 데이터베이스를 만든 후 "새 데이터 수신"을 누르면 ADX 포털로 안내합니다.

4. "조회"를 누르면 이미 만들어진 데이터베이스를 표시합니다.

5. 데이터베이스를 마우스 오른쪽 버튼으로 클릭하고 "테이블 만들기"를 클릭합니다.

6. 테이블 이름을 입력하고 로컬 파일에서 csv를 선택합니다.

7. "편집 구조"를 클릭하고 "열 이름 포함"을 선택하여 첫 줄을 제목으로 한 다음 "매핑 만들기"를 선택하십시오.맵 이름을 주의하십시오.

8. 마지막으로 창설을 클릭하고 완료 절차를 닫습니다.
9.cats표를 조회하고 데이터가 없음을 확인합니다.

데이터를 수신하는 파이프 생성

마지막으로 ADF에 파이프를 생성합니다.

서비스 주체 추가

ADF가 ADX에 액세스하려면 서비스 주체를 만들어야 합니다.두 레벨에서 권한을 부여할 수 있습니다.

ADX 리소스 수준

ADX 데이터베이스 레벨

나는 이번에 자원 등급의 권한을 수여했다.
1. Azure Portal | Azure Active Directory | 응용 프로그램 등록으로 이동하여 "새 등록"을 클릭합니다.

2. 서비스 주체 이름을 입력하고 "등록"을 클릭합니다.나는 그것을 "mycatadx sp"라고 명명했다.
3. 응용 프로그램 ID에 유의하십시오.
4. 인증서 및 기밀을 선택하고 새 키를 생성합니다.키를 누릅니다.
5. Azure 포털로 돌아가 ADX 리소스를 선택합니다.권한 으로 이동합니다.추가를 클릭합니다.

6. 만든 서비스 주체를 선택하고 추가합니다.

리소스의 권한 대신 데이터베이스 수준에서 권한을 부여하려면 데이터베이스로 이동하여 데이터베이스를 선택한 다음 권한 을 선택합니다.

ADX를 링크 서비스로 추가

1. Azure 포털에서 ADF 리소스로 이동하여 "작가 및 모니터"를 클릭하면 ADF 포털로 안내됩니다.

2. "관리"아이콘을 선택하고 링크 서비스의 "새로움"을 누르십시오.

3. 목록에서 Azure Data Explorer를 선택합니다.

4. Azure 구독에서 ADX 리소스를 선택하고 만든 서비스 주체 ID/key를 입력합니다.
5. 데이터베이스 이름 (catlogsdb) 을 입력하고 "만들기"를 누르십시오.

Blob 스토리지를 링크 서비스로 추가

유사한 절차를 사용하여 링크 서비스로 Azure Blob 스토리지를 추가합니다.

데이터 세트 추가

링크 서비스를 만든 후, 나는 데이터 집합을 추가하여 데이터 모델을 정의했다.
1. "작가"메뉴에 들어가서 "+"를 클릭하여 데이터 집합을 추가합니다.

2. "Azure Blob Storage"를 선택하고 "Deliminated Text"를 선택합니다.

3. 만든blob 링크 서비스를 선택하고 파일 경로를 지정합니다.머리글의 첫 번째 행을 선택합니다.

4. 데이터 집합을 만든 후 "cats.csv"를 파일 이름 경로로 추가하고 "파일 미리보기"를 누르면 csv 파일을 볼 수 있는지 확인합니다.

5. 다른 데이터 세트를 추가합니다.ADX를 선택한 다음 생성된 링크 서비스를 선택합니다.데이터베이스가 자동으로 해결되었습니다.테이블을 선택합니다.나는 또한 데이터 집합을 "adxcats"로 바꾸어blobcats 데이터 집합과 구별합니다.

파이프 생성

마지막으로 파이프를 생성합니다.
1. "+"단추에서 파이프를 선택합니다.

2. 데이터 복사를 이동 및 변환에서 파이핑 단지로 드래그합니다.

3. "Source"속성을 선택하고 방금 만든'cats'데이터 집합을 선택하십시오.데이터 미리보기를 클릭하여 데이터를 봅니다.

4. 드롭다운 목록에서 Sink 및 adxcats 를 선택합니다.ADX에서 테이블을 생성할 때 사용할 매핑 이름을 입력합니다.

파이프 실행

'디버깅'메뉴를 누르면 파이프를 테스트합니다. 이것은 디버깅 모드에서 파이프를 터치합니다.

파이프가 완성되면 ADX 포털로 이동하여cats 테이블을 조회합니다.

총결산

리소스, 설정 및 권한 제공에는 여러 단계가 있지만 GUI를 통해 수행할 수 있습니다.
프로세스를 유연하게 자동화하려면 ADF를 사용하십시오.
에서 Databricks의 데이터를 사용하는 방법을 설명합니다.