Python & Spark에서 dashDB에서 데이터를 읽은 메모

IBM Data Scientist Experience의 Python2 with Spark1.6에서 실행
(1) 자격 증명 (자격 증명) 정의
미리 DSX에 자신의 dashDB를 등록해 두었으므로, "insert to code"를 클릭해 설정. (사용자 이름과 비밀번호는 복자로 하여 ..합니다)

credentials_2 = {
  'port':'50000',
  'db':'BLUDB',
  'username':'dashXXXXX',
  'ssljdbcurl':'jdbc:db2://dashdb-entry-yp-dal09-07.services.dal.bluemix.net:50001/BLUDB:sslConnection=true;',
  'host':'dashdb-entry-yp-dal09-07.services.dal.bluemix.net',
  'https_url':'https://dashdb-entry-yp-dal09-07.services.dal.bluemix.net:8443',
  'dsn':'DATABASE=BLUDB;HOSTNAME=dashdb-entry-yp-dal09-07.services.dal.bluemix.net;PORT=50000;PROTOCOL=TCPIP;UID=dashXXXX;PWD=XXXXXXXXXXX;',
  'hostname':'dashdb-entry-yp-dal09-07.services.dal.bluemix.net',
  'jdbcurl':'jdbc:db2://dashdb-entry-yp-dal09-07.services.dal.bluemix.net:50000/BLUDB',
  'ssldsn':'DATABASE=BLUDB;HOSTNAME=dashdb-entry-yp-dal09-07.services.dal.bluemix.net;PORT=50001;PROTOCOL=TCPIP;UID=dash7836;PWD=82f9d02e61da;Security=SSL;',
  'uri':'db2://dashXXXX:[email protected]:50000/BLUDB',
  'password':"""XXXXXXXXXXXXX"""
}

(2) 데이터 취득을위한 함수 정의
참고로 만든 사이트 ---> h tp : / / s t c ゔ rf ぉ w. 코 m / 쿠에 s 치온 s / 37688993 / HO W-TO-USE PANDA S-ON-S PARK의 TABOO K-DATA-ON-DA SHDB 응-py
def getDashData(credentials,schemaName , tableName):
    from pyspark.sql import SQLContext
    sqlContext = SQLContext(sc)
    props = {}
    props['user'] = credentials['username']
    props['password'] = credentials['password']
    table = schemaName + '.' + tableName     
    return sqlContext.read.jdbc(credentials['jdbcurl'],table,properties=props)

(3) dashDB로부터 데이터를 꺼내 & 선두 10 레코드를 확인
df_dash = getDashData(credentials_2 , 'DASH7836', 'TEST1' )
df_dash.toPandas().head(10)

좋은 웹페이지 즐겨찾기