Dataiku DSS와 postgreSQL 연결

실무로 데이터 분석하고 있으면, 아무래도 데이터베이스를 사용하고 싶어지는 때가 나옵니다.
그래서 이번에는 Dataiku DSS와 postgreSQL의 연계에 대해 씁니다.
여기 튜토리얼를 참고했습니다.

Dataiku DSS는 다양한 데이터 스토리지와 연동할 수 있어 020/12월 시점에서 10종류의 스토리지를 풀 서포트하고 있는 것 같습니다. 지원되는 스토리지에 대한 자세한 내용은 여기을 참조하십시오.

환경

우분투 18.04.4 LTS
postgreSQL 13.1
Dataiku ver 8.0.2

postgreSQL 설치

공식 다운로드 사이트에서 설치.

postgreSQL의 postgres 사용자의 비밀번호 설정(필요한 경우)

처음에는 패스워드 인증이 잘 되지 않았기 때문에, 역업에서 어떻게든 했습니다.
좀 더 똑똑한 방법이 분명한, 그런 생각은 하고 있습니다.

우선, 패스워드계의 설정 파일 pg_hba.conf를 찾습니다.

sudo find / -name pg_hba.conf

에서 pg_hba.conf의 위치를 알 수 있으므로 pg_hba.conf의 첫 번째 행의 peer를 trust로 다시 작성하여 다음과 같이하십시오. (sudo vi)

host    all         all         127.0.0.1/32          trust

설정 재로드.

sudo /etc/init.d/postgresql reload

이제 postgres 사용자로 비밀번호 없이 넣게 되므로, 여기서 비밀번호를 설정.

psql -U postgres
postgres=# \password

설정 후 pg_hba.conf의 첫 번째 행을 trust에서 md5로 변경하여 postgresql 설정을 읽습니다 (reload).

postgreSQL 초기화

이번에 다루는 내용에 따라 테이블과 롤을 만듭니다.
CSV에서 데이터를 읽고 싶기 때문에, 미리 이하의 CSV를/home/dataiku/이하에 둡니다.
htps : // / ww 아아 ds. 매우. 코 m / 푸 b ぃ c / ぇ b하고 - 아 치오나 l 어세 ts / data / r에서 rs. CSV

초기 설정은 대략적으로 다음과 같은 일을 했습니다.

dku_tshirt_admin 사용자 만들기

데이터베이스로 dku를 만들고 스키마로 dku_tshirt 만들기

orders 테이블을 만들고 orders.csv에서 파일로드

psql -U postgres  
postgres=# CREATE DATABASE dku; -- dkuデータベース作成
postgres=# \c dku
dku=# CREATE SCHEMA dku_tshirt; -- dku_tshirtスキーマ作成
dku=# CREATE USER dku_tshirt_admin WITH PASSWORD 'password'; -- dku_tshirt_adminユーザー作成
dku=# GRANT ALL PRIVILEGES ON SCHEMA dku_tshirt TO dku_tshirt_admin; -- dku_tshirt_adminユーザーのdku_tshirtスキーマへの権限設定
dku=# \connect - dku_tshirt_admin -- dku_tshirt_adminにユーザー変更
dku=# CREATE TABLE dku_tshirt.orders( 
dku(# "order_date" DATE
dku(# ,"pages_visited" INT
dku(# ,"order_id" VARCHAR
dku(# ,"customer_id" VARCHAR
dku(# ,"tshirt_category" VARCHAR
dku(# ,"tshirt_price" FLOAT
dku(# ,"tshirt_quantity" INT
dku(# ); -- 空のordersテーブルを作成
dku=# \q

쉘로 돌아가서 orders.csv 파일을 orders 테이블로 가져옵니다.

$ psql -U dku_tshirt_admin -c "copy dku_tshirt.orders from stdin ENCODING 'utf8' CSV HEADER DELIMITER E',';" dku < /home/dataiku/orders.csv

Dataiku DSS와 postgreSQL 연결

Administrator 권한이 있는 사용자로 작업합니다.
[Applications]->[Administration]에서 설정 화면을 표시합니다.

[Connections] 클릭으로 연결 설정 화면이 되므로 [+NEW CONNECTION]을 클릭합니다.

PostgreSQL을 클릭합니다.

설정 화면이 나오므로 다음과 같이 입력하고 [TEST]를 클릭합니다.
이렇게 하면 연결이 제대로 작동하는지 확인할 수 있습니다. 아래 이미지와 같이 "Connection OK"라고 나오면 [CREATE]를 클릭합니다.

이제 Dataiku DSS에서 postgreSQL의 데이터를 호출할 준비가 되었습니다.

postgreSQL의 테이블을 Dataiku DSS 데이터 세트로 가져 오기

실제로 프로젝트에서 PostgreSQL의 데이터에 액세스해 보겠습니다.
PostgreSQL의 테이블을 Dataiku DSS의 데이터 세트로 가져오면 PostgreSQL의 데이터에 액세스할 수 있습니다.

SQL connection이라는 프로젝트를 만들고 +IMPORT YOUR FIRST DATASET을 클릭합니다.