데이터 분석 툴로 CSV 파일을 이용할 때, CSV에 SELECT 발행할 수 있는 편리한 JDBC~CDATA 드라이버를 KNIME로 사용해 보았다~

CSV 데이터에 SELECT 쿼리를 걸 수 있으므로 전처리로 필요한 데이터 추출이 엄청 편해집니다.
개인적으로 감동했습니다.

이번에는 KNIME에서 다음에 도전하고 있습니다.

· CDATA JDBC CSVDriver와 KNIME 연계
· KNIME에서 주가 데이터 CSV 참조
· 참조 된 CSV 파일의 전처리로서 데이터에 SELECT 발행
· SELECT 결과 그래프

CDATA JDBC CSVDriver와 KNIME 협력

CDATA JDBC 평가판의 다운로드 순서는 지난번 참조.
KNIME에서의 JDBC 드라이버 설정은 공식 튜토리얼 참조해 진행합니다.

KNIME (이미 오래된 3.3.2) 시작

File→Install KNIME Extensions

KNIME → Databases → 여기에서 다운로드한 CSV 드라이버를 지정합니다.

KNIME에서 주가 데이터 CSV 참조

워크플로에 Database Reader 추가→오른쪽 클릭→Configure

· Database Driver → 추가한 CSV 드라이버를 지정
· Database URL → jdbc:csv:DataSource=CSV 파일의 폴더 경로;

오른쪽 하단의 Database Browser→Fetch Metadata 클릭→로드할 CSV 파일을 더블 클릭

SQL Statement에 반영됩니다.

여기서 주의점으로서 테이블명으로부터 「.csv」를 삭제합니다.

FROM bb.csv
↓正しくは
FROM bb

참조 된 CSV 파일의 전처리로 데이터에 SELECT 게시

".csv"에 주의하면서 SQL 문을 만듭니다.
이번에는 단순히 이미 있는 항목을 선택하고 있습니다.

여기서 조건 지정이나 GROUP BY하여 필요한 전처리를 할 수 있습니다.
이것이 CSV 파일에서 할 수있는 것은 매우 편리합니다.

SELECT 결과 그래프

라인 차트를 추가하고 꺾은선형 차트로 표시합니다.

사이고에게

· KNIME에서도 원래 엑셀 파일을 읽을 수 있습니다.
・단, SELECT 추출하기 위해서는 DB에 받아들여야 하고, 그 수고가 번거롭다
↓
CSV를 바삭바삭하게 모아서, 이들을 결합해 추출한 결과를 KNIME(만으로 한정하지 않습니다만)으로 분석!
여기가 감동한 포인트입니다.

다음 번부터 할 일

다음 중 하나를 진행합니다.
1. 뉴스 사이트 RSS를 수집
CDATA에는 RSS 드라이버도 있는 것 같기 때문에, 그 평가판도 사용해 보겠습니다.
Python으로 RSS 취득하고 DB에 쓰는 프로그램은 이미 만들고 있습니다만, 모처럼 드라이버가 있으므로 시험해 보겠습니다.
2.RSS 수집 데이터를 형태소 해석하여 주가의 값 움직임과 연결
그대로입니다.
2000년 초, 학생 시절의 연구 테마가 「강화 학습에 의해 주식 매매로 벌 수 있다」이었기 때문에, 자연과 발상이 주식에 가 버립니다.
그러나 강화 학습은 사용하지 않습니다.
3. Arduino에서 MIDI 연계하여 먼지를 쓴 전자 악기를 조작
Arduino와 Midi 부품은 구입되었습니다.
LED 점멸까지 시도했으므로, 하고 싶은 일을 합니다.
4.Arduino와 적외선 센서를 연동하여 MIDI 드럼의 소리를 냅니다.
타격하면 템포를 바꿀 수 없기 때문에, 다리로 MIDI를 조작해 혼자 그루브를 어떻게 낼까.
MIDI 신호 실행의 지연에 의해, 리듬이 요레요레가 되는 것을 생각할 수 있습니다.
2020년부터 시작되는 프로그래밍 교육을 염두에 둔 챌린지입니다.
프로그래밍 수업 × 음악 수업 × 댄스 수업 × 그림 공작 수업.
5. 엔지니어로 SDGs 생각
프로그래밍은 아니지만, 「에너지, 물, 온난화」관련의 서적을 읽고 있으므로, 그 정리입니다.
오가와초에서 낚시를 하면서 생각한다.