Python 이 scrapy 를 설치 하 는 정확 한 자 세 를 자세히 설명 합 니 다.

실행 플랫폼:Windows
Python 버 전:Python 3.x
IDE：Sublime text3
1.Scrapy 소개
Scrapy 는 사이트 데이터 에서 구조 적 데 이 터 를 추출 하기 위해 작 성 된 응용 프레임 워 크 로 데이터 발굴,정보 처리 또는 역사 데이터 저장 등 일부 열 에 사용 할 수 있 는 프로그램 입 니 다.스 크 래 피 는 처음에 인터넷 을 위해 디자인 된 것 이다.현재 Scrapy 는 약 속 했 던 Python 3.x 버 전 을 출시 했다.
왜 스 크 래 피 를 배 워 요?그것 은 우리 가 파충류 임 무 를 더욱 잘 완성 할 수 있다.자신 이 Python 파충류 프로그램 을 쓰 는 것 은 고군 분투 하 는 것 과 같 고,Scrapy 를 사용 하 는 것 은 마치 수중 에 천군만마 가 있 는 것 과 같다.Scrapy 는 적은 노력 으로 큰 효 과 를 거 둘 수 있다.그래서 Scrapy 를 배 우 는 것 도 필요 하 다.
2.Scrapy 설치
1.명령 pip 3 install scrapy 를 직접 사용 하여 많은 오류 가 있 음 을 발견 합 니 다.

Failed building wheel for lxml

Microsoft Visual C++ 10.0 is required

Failed building twisted

Unable to find vcvarsall.bat

다음 그림 과 같은 오류 가 발생 했 습 니 다.



2.해결 방법
(1)cmd 에 명령 python 을 입력 하고 python 버 전 을 보십시오.다음 과 같 습 니 다.

위의 그림 에서 보 듯 이 나의 Python 버 전 은 Python 3.5.2-64bit 이다.
(2)로그 인http://www.lfd.uci.edu/~gohlke/pythonlibs/Ctrl+F 는 Lxml,Twisted,Scrapy 를 검색 하고 해당 하 는 버 전 을 다운로드 합 니 다.예 를 들 어 lxml-3.7.3-cp35-cp35m-winadm 64.whl 은 lxml 의 버 전 은 3.7.3 이 고 해당 하 는 python 버 전 은 3.5-64bit 입 니 다.내 가 다운로드 한 버 전 은 다음 그림 과 같다.

cmd 에 DOS 명령 을 입력 하고 다운로드 한 whl 폴 더 에 들 어가 십시오.예 를 들 어 제 세 개의 whl 파일 은 Scrapy 폴 더 에 놓 여 있 습 니 다.

(4)다음 명령 을 순서대로 집행 한다.
a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

이렇게 하면 Scrapy 의 설치 가 완 료 됩 니 다.마지막 두 줄 에서 pip 를 업그레이드 하 라 는 정 보 를 무시 하 십시오.*.*
(5)Srapy 가 설치 에 성 공 했 습 니 다.pywin 32 를 다운로드 하고 해당 버 전 을 찾 아 다운로드 하면 다음 단계 에 설치 하면 됩 니 다.설치 가 완료 되면 Scrapy 를 정상적으로 사용 할 수 있 습 니 다.
URL： https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

이로써 큰 성 과 를 거 두 었 으 니 우 리 는 Scrapy 를 즐겁게 사용 할 수 있 게 되 었 다.
총결산
위 에서 말 한 것 은 소 편 이 소개 한 Python 에 scrapy 를 설치 하 는 정확 한 자세 입 니 다.여러분 에 게 도움 이 되 기 를 바 랍 니 다.궁금 한 점 이 있 으 면 메 시 지 를 남 겨 주세요.소 편 은 바로 답 해 드 리 겠 습 니 다.여기 서도 저희 사이트 에 대한 여러분 의 지지 에 감 사 드 립 니 다!