개요

스크래핑의 공부를 하고 있으면, 원래 URL로부터 직접 다운로드할 수 있는 파일은 커멘드로 간단하게 다운로드할 수 있지 않다고 생각했으므로 자신용 메모도 겸해. 다운로드한 파일의 해동에는 커맨드 라인(커맨드 프롬프트)에서 압축·해동을 할 수 있는 「7-zip」이라고 하는 어플리를 사용하고 있다.

하고 싶은 일

공개되어 있는 닛케이 평균의 히스토리 데이터 를 소정의 장소에 저장하고 싶다고 한다.

위 이미지의 빨간색 원을 클릭하면 일일 닛케이 평균 주가를 다운로드 할 수 있습니다.

브라우저로 액세스하고 클릭하는 것만이므로 간단하지만, 다운로드 폴더에서 이동시키는 곳까지 자동화한다.
위 사이트에서는 csv 파일을 다운로드할 수 있지만 zip 파일로 압축되어 있는 경우에도 대응한다.

디자인

첫째로 디자인을 쓴다. 이것 정도라면 설계서 따위 필요없고, 커맨드 조사하면서 직접 코딩해 가면 할 수 있지만, 설계서 쓰는 버릇을 붙이지 않으면 나중에 하고 있는지 모르게 되어 효율이 나쁘다(계명).

웹에서 다운로드하여 지정된 폴더로 이동하는 배치

nikkei_download.bat

1.ダウンロード
  bitsadmin /transfer <URL> <保存先フルパス>

2.解凍
　7z.exe x <保存先フルパス> -o<解凍先ディレクトリ>
　
3.ディレクトリ移動
　cd <保存先ディレクトリ>

4.zipファイル削除
　del hoge.zip

5.ディレクトリ移動
　cd <解凍先ディレクトリ>

6.解凍済ファイル移動
  move /Y <最終保存先ディレクトリ>

7.ディレクトリを戻す
　cd <ホームディレクトリ>　

bitsadmin 명령

linux에서 curl과 같은 파일을 다운로드하는 DOS 명령bitsadmin /transfer ＜URL＞ ＜ダウンロード先＞

절대 패스 획득

bitsadmin으로 지정하는 URL은 http로 시작하는 절대 경로여야 한다.
링크를 마우스 오른쪽 버튼으로 클릭하고 링크 대상을 복사 한 것이 절대 경로가되어 있으면 좋지만, 그렇지 않은 경우 개발자 도구 등을 사용하여 루트 경로를 확인하고 절대 경로로 변환합니다.
chrome라면 ctrl+shift+I로 전환한다.

이미지처럼 계층을 내려가고 원하는 링크가 있는 곳을 따라가면,href=/nkave/historical/nikkei_stock_average_daily_jp.csv되어 있는 곳이 보인다.
이것만으로는 절대 경로가되지 않으므로이 사이트의 홈 URL과 연결하십시오.https://indexes.nikkei.co.jp/nkave/historical/nikkei_stock_average_daily_jp.csv가 다운로드 대상의 URL이 된다.

저장 대상

저장 대상 폴더는 어디서나 좋지만 bitsadmin은 전체 경로로 설정하지 않으면 오류가 발생하므로C:nikkei_download\hoge.csv등, 파일명까지 지정한다.

7-zip

다운로드하는 파일이 압축된 것이었을 경우는, 커멘드 라인으로부터 사용할 수 있는 압축·해동의 프리 소프트 7-zip 를 사용한다.
7z.exe는 인스톨하면 디폴트로, program File에 들어가므로, 거기에 PATH를 미리 설정해 둔다.
7z.exe x <保存先フルパス> -o<解凍先ディレクトリ>보존처 풀 패스는 방금 전의 것과 같다, 해동처의 디렉토리를 -o 뒤에 기술한다. 어차피 나중에 이동하기 때문에, 해동처는 어디라도 좋다.
zip 파일은 삭제한 후, 압축해제처의 디렉토리에 cd로 이동한다.

압축을 푼 파일 이동

move /Y <最終保存先ディレクトリ>move 명령을 사용하여 마지막으로 저장할 디렉토리로 이동합니다.
/Y로 자동으로 덮어쓸 수 있다./-Y라고 하면, 덧쓰기할지 묻는다.

완성된 배치 파일

nikkei_download.bat

@echo off
rem 日経平均csvをダウンロードして、所定のフォルダに移動させるバッチファイル
bitsadmin /transfer https://indexes.nikkei.co.jp/nkave/historical/nikkei_stock_average_daily_jp.csv C:\nikkei_download\hoge.csv
　
rem ディレクトリ移動
cd C:\nikkei_download\

rem解凍済ファイル移動
move /Y C:\nikkei_download\csv

remディレクトリを戻す
cd C:\user\hogehoge

그리고 자동화에

이 배치 파일을 커맨드 프롬프트가 되었을 때의 홈 디렉토리에 놓으면, nikkei_download와 넣는 것만으로, 자동적으로 다운로드가 가능해진다.
앞으로는 PC를 기동했을 때 혹은 정시에 자동으로 다운로드되도록 하고 싶다.