소개

Azure Databricks는 Spark 기반 분석 플랫폼으로 Azure Blob, Azure Data Lake, Azure SQL Databases 등 여러 소스에서 읽은 데이터를 Spark로 변환하여 획기적인 통찰력을 제공합니다.

이 기사에서는 Azure Databricks에서 Salesforce로 JDBC로 연결하는 방법을 설명합니다.
이번에는 Salesforce와의 연결 방법을 살펴보겠지만 동일한 절차를 사용하여 Eloqua, IBM Db2, Oracle 및 기타 데이터 소스에 JDBC로 연결할 수 있습니다.

Salesforce용 DataDirect JDBC 드라이버 다운로드 및 설치

1. Salesforce JDBC 드라이버를 Azure Databricks에 업로드하기 전에 먼저 로컬 컴퓨터에 DataDirect Salesforce JDBC 드라이버를 설치합니다.

2. DataDirect Salesforce JDBC 드라이버를 여기에서 다운로드하십시오.

3. 다음 명령을 터미널에 입력하거나 jar 파일을 두 번 클릭하여 드라이버를 설치합니다.

java -jar PROGRESS_DATADIRECT_JDBC_SF_ALL.jar

4. 대화형 java 설치 프로그램이 시작되므로 라이센스 또는 평가판에 관계없이 DataDirect for Salesforce JDBC 드라이버를 어디에서나 설치하십시오.

5. Salesforce JDBC 드라이버 외에 평가판으로 다른 드라이버도 같은 폴더에 여러 설치되므로 다른 연결 대상 검증도 할 수 있습니다.

Salesforce JDBC 드라이버를 Azure Databricks에 업로드

1. Salesforce JDBC 드라이버를 설치한 폴더로 이동합니다. 폴더 경로는 다음과 같습니다.

C:\Program Files\Progress\DataDirect\JDBC_60\lib\sforce.jar

2. [Clusters]로 이동하여 워크로드를 실행할 클러스터를 선택합니다.
클러스터에서 라이브러리 탭을 열고 새로 설치를 클릭합니다. 위 경로에서 Salesforce 드라이버를 선택하고 Install을 클릭하여 아래와 같이 클러스터에 드라이버를 설치합니다.

Salesforce에 연결

1. 새 노트북을 열고 다음 코드를 실행하여 JDBC 드라이버가 있는지 확인합니다.

Class.forName("com.ddtek.jdbc.sforce.SForceDriver")

2. 다음 코드를 실행하여 Salesforce에 연결하기 위한 JDBC URL을 작성합니다. 코드의 사용자 이름, 비밀번호 및 보안 토큰(선택 사항)을 사용자의 이름으로 바꿉니다.

val jdbcHostname = "login.salesforce.com"
val jdbcSecurityToken = "Your Security Token"

// Create the JDBC URL without passing in the user and password parameters.
val jdbcUrl = s"jdbc:datadirect:sforce://${jdbcHostname};SecurityToken=${jdbcSecurityToken}"

// Create a Properties() object to hold the parameters.
import java.util.Properties
val connectionProperties = new Properties()

connectionProperties.put("user", "Your username")
connectionProperties.put("password", "Your password")

3. 다음 명령을 실행하여 드라이버 클래스 이름을 설정합니다.

val driverClass = "com.ddtek.jdbc.sforce.SForceDriver"
connectionProperties.setProperty("Driver",driverClass)

4. 다음 코드를 실행하여 Salesforce에서 데이터를 읽을 수 있습니다. 다음은 Salesforce에 연결하여 Opportunity 테이블의 스키마를 인쇄하는 코드의 예입니다.

val opportunity_table = spark.read.jdbc(jdbcUrl, "Opportunity", connectionProperties)
opportunity_table.printSchema

5. 먼저 "Opportunity"테이블을 검색하고 데이터를 인쇄할 수 있습니다.

display(opportunity_table.select("AMOUNT", "FISCALQUARTER").groupBy("FISCALQUARTER").avg("AMOUNT"))

6. 이제 변환을 적용하거나 다른 데이터 소스에 연결하고 데이터를 결합하여 변환을 적용할 수 있습니다.

Azure Databricks로 연결할 수 있는 데이터 소스 외에도 Salesforce, Eloqua, IBM DB2, Oracle 등 외부 데이터 소스를 연결하여 다양한 위치에 저장된 데이터의 통합 분석을 할 수 있습니다.

이러한 다양한 데이터 소스는 DataDirect JDBC 커넥터를 사용하여 연결할 수 있습니다.