jupyter + SQLite
최근 jupyter + SQLite 조합을 사용하기 시작했습니다.
편리합니다.
하지만 ipython-sql 도입시 조금 고생했기 때문에 그 근처
를 공유해 봅니다.
자신과 같은 초보자의 도움이 되면.
■자신의 환경
・OS:Windows10
・Miniconda 인스톨 완료(jupyter notebook 사용 가능)
· 데이터 분석에서 수 M ~ 수십 M의 CSV 파일을 처리하기 때문에
엑셀은 트라이
・매번 read_csv하는 것도 트라이. CSV 파일이 많이
있어 파일의 관리도 트라이
·라고 MySQL이나 PostgreSQL 세우는 것은 조금
■ 설치하는 것
· DB Browser for SQLite
· ipython-sql
■ 자신의 결론
・데이터는 SQLite에 정리한다
・데이터의 SQLite에의 취득과 간단한 내용 체크는
DB Browser for SQLite로 하기
· 데이터를 뽑을 때는 jupyter notebook에서
한다
■설치
· DB Browser for SQLite 설치
(이 근처는 인터넷에 정보가 충실하기 때문에 생략)
· ipython-sql 설치
Ubuntu라면 Terminal로 pip하면 깔끔하게 설치 완료
하지만 Windows이면 명령 프롬프트에서 pip
할 수 없었기 때문에 조금 고민했습니다.
대답으로서, jupyter notebook에서
!pip install ipython-sql
을 실행했습니다.
■ 데이터 캡처, 테이블 만들기
· DB Browser for SQLite에서 SQLite 파일을 열고 csv
수입하는 것이 편하다고 생각합니다.
이 근처도 자세한 순서는 생략.
■ jupyter에서 SQLite에 연결
Postgre나 MySQL에의 접속 방법은 넷에 충실하고 있었습니다만,
SQLite에 대한 연결 정보는 꽤 이해하기 어렵고 어려웠습니다.
· 전제 조건
C:직하에서 jupyter notebook을 열고 있다
C: 바로 아래에 데이터를 저장한 "sample.sqlite3"이 있다
(요점은 notebook과 같은 폴더 내에 sqlite 파일이 있다)
위와 같은 상태에서 다음을 수행합니다.
포인트는 "%sql sqlite:"뒤에는 슬래시 3개 + 현재
디렉토리에 있는 SQLite 파일 이름.
이제 sample.sqlite3에 연결할 수있었습니다.
■ 데이터 검색
이제 데이터를 검색하는 것은 스위스입니다.
자신의 경우 데이터 검색과 동시에 pandas의 데이터 프레임
합니다.
그래서 pandas도 가져옵니다.
예: 테이블 "member"에서 데이터 검색
그리고는 가챠 가챠 할뿐입니다.
Reference
이 문제에 관하여(jupyter + SQLite), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/kaz2018/items/b89d82f591c961b1b9e8텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)