Azure Databricks에 비밀을 저장하는 방법

배경

Azure Databricks에서는 다양한 Azure 서비스에 저장된 데이터에 대해 데이터 변환을 수행하는 코드를 작성할 수 있습니다. Azure Blob 저장소, Azure Synapse. 그러나 다른 프로그램에서 때때로 Azure Databricks에서 사용되는 자격 증명을 보호하려는 경우 Azure Databricks는 이를 달성하는 데 도움이 되는 견고한 비밀 관리 접근 방식을 제공합니다.

단계

Azure Cloud Shell에서 Databricks CLI(명령줄 인터페이스) 준비

Cloud Shell 환경 구성

Cloud Shell을 열고 Cloud Shell 환경으로 "Bash"를 선택했는지 확인합니다.

가상 환경 설정

아래 명령으로 가상 환경을 생성합니다.

# Bash
virtualenv -p /usr/bin/python2.7 databrickscli

가상 환경 활성화

아래 명령으로 가상 환경을 활성화하십시오.

# Bash
source databrickscli/bin/activate

Databricks CLI 설치

아래 명령으로 Databricks CLI를 설치합니다.

# Bash
pip install databricks-cli

Azure Databricks에서 비밀 만들기

인증 설정

비밀을 만들려면 먼저 Azure Databricks 작업 영역의 URL 및 토큰이 필요한 Azure Databricks의 사용자로 인증해야 합니다.


Azure Databricks 작업 영역의 URL 가져오기

Azure Databricks 작업 영역으로 이동하여 해당 URL을 복사할 수 있습니다.




Azure Databricks 작업 영역에 대한 액세스 토큰 생성

아래 단계에 따라 액세스 토큰을 검색할 수 있습니다.

Databricks 작업 영역 시작

'사용자 설정'을 클릭합니다.

'새 토큰 생성'을 클릭합니다.

액세스 토큰 구성 및 '생성' 클릭

액세스 토큰 복사

비밀 범위 만들기

인증 후 먼저 여러 비밀을 그룹화할 수 있는 비밀 범위를 만들어야 합니다.

Databrick이 표준 계획에 있는 경우 동일한 작업 영역의 다른 사용자와 공유할 비밀 범위만 만들 수 있습니다.

# Bash
databricks secrets create-scope --scope <<scope>>

# Example
databricks secrets create-scope --scope storage --initial-manage-principal users # Standard Plan
databricks secrets create-scope --scope storage # Premium plan

비밀 만들기

아래 명령을 사용하여 지정된 범위에서 비밀을 만들 수 있습니다.

# Bash
databricks secrets put --scope <<scope>> --key <<key name>>

databricks secrets put --scope storage --key blob #Example

노트북에서 비밀 사용

노트북에서 아래 명령으로 비밀을 사용할 수 있습니다.

# Python
dbutils.secrets.get(scope=<<scope>>,key=<<key>>)

dbutils.secrets.get(scope=storage,key=blob) #Example

원본 게시물: https://joeho.xyz/blog-posts/how-to-store-secrets-in-azure-databricks/