Python 에서 Pyspider 파충류 프레임 의 기본 사용 에 대한 상세 한 설명

1.pyspider 소개  
     한 나라 사람들 이 만 든 강력 한 인터넷 파충류 시스템 과 강력 한 WebUI 를 가지 고 있다.Python 언어 로 작성,분포 식 구조,다양한 데이터베이스 백 엔 드 지원,강력 한 WebUI 지원 스 크 립 트 편집기,작업 모니터,프로젝트 관리자 및 결과 뷰 어.

Python 으로 스 크 립 트 작성

기능 이 강 한 WebUI,스 크 립 트 편집기,작업 모니터,프로젝트 관리자 와 결과 뷰 어

포함

MySQL ， MongoDB ， Redis ， SQLite ， Elasticsearch  ;  PostgreSQL와SQLAlchemy를 데이터베이스 백 엔 드 로

RabbitMQ,Beanstalk,Redis와Kombu를 메시지 대열

로 한다.

퀘 스 트 우선 순위,재 시도,정기,나이 에 따라 다시 잡기 등...

분포 식 구조,JavaScript 페이지 캡 처,Python 2 와 3 등... 

2.pyspider 문서
1>중국어 문서:http://www.pyspider.cn/
2>영문 문서:http://docs.pyspider.org/
3.pyspider 설치
cmd 명령 행 도 구 를 열 고 명령 을 실행 합 니 다.

pip install pyspider

다음 그림 이 나타 나 면 설치 성공

4.pyspider 서비스 시작,WebUI 인터페이스 진입
pyspider 를 설치 한 후 cmd 명령 도 구 를 열 고 명령 을 실행 하여 서버 를 시작 합 니 다.

pyspider

다음 그림 이 나타 나 면 서 비 스 를 시작 하 는 데 성 공 했 습 니 다.기본 주소 포트 는 127.0.0.1:5000 입 니 다.

주소 127.0.0.1:5000 입력,WebUI 인터페이스 열기

대기 열 통 계 는 파충류 의 상 태 를 편리 하 게 보기 위해 파충류 의 기어 오 르 는 속 도 를 최적화 하기 위해 새로 추 가 된 상태 통 계 를 말한다.각 구성 요소 간 의 숫자 는 서로 다른 대기 열 에 대응 하 는 대기 열 수량 이다.보통 0 또는 한 자릿수 이다.수 십,심지어 100 에 이 르 렀 다 면 하류 구성 요소 에 병 목 이나 오류 가 발생 했 음 을 설명 하고 분석 처리 가 필요 하 다.
새 프로젝트:pyspider 와 scrapy 의 가장 큰 차이 점 은 바로 여기에 있 습 니 다.pyspider 새 프로젝트 디 버 깅 프로젝트 는 완전히 웹 에서 진행 되 고 scrapy 는 명령 행 에서 개발 하고 테스트 를 실행 합 니 다.
그룹 이름:항목 을 새로 만 든 후 일반적으로 항목 이름 을 수정 할 수 없습니다.그룹 이름 을 수정 할 수 있 는 특수 태그 가 필요 하 다 면 그룹 이름 에 마우스 왼쪽 단 추 를 누 르 고 수정 하 십시오.주의:그룹 이름 을 delete 로 바 꾼 후 상태 가 stop 상태 라면 24 시간 후에 항목 이 시스템 에서 삭 제 됩 니 다.
실행 상태:현재 항목 의 실행 상 태 를 표시 합 니 다.각 항목 의 실행 상 태 는 단독으로 설정 되 어 있 습 니 다.각 항목 의 실행 상태 에서 마우스 왼쪽 단 추 를 누 르 고 수정 합 니 다.실행 상 태 는 다섯 가지 상태 로 나 뉘 어 있 습 니 다.TODO,STOP,CHECKING,DEBUG,RUNNING.각 상태 설명:TODO 는 새 항목 후의 기본 상태 입 니 다.프로젝트 를 실행 하지 않 습 니 다.TOP 상 태 는 정지 상태 이 고 실행 하지 않 습 니 다.HECHING 은 프로젝트 코드 를 수정 한 후 자동 으로 변 하 는 상태 입 니 다.DEBUG 는 디 버 깅 모드 입 니 다.오류 가 발생 하면 정 보 를 계속 실행 하지 않 습 니 다.RUNNING 은 실행 상태 입 니 다.오류 가 발생 하면 자동 으로 시도 합 니 다.오류 가 발생 하면 잘못된 작업 을 건 너 뛰 고 계속 실 행 됩 니 다.
속도 제어:많은 친구 들 이 설치 가 느 리 고 대부분 속도 가 제한 되 어 있 습 니 다.이 기능 은 속도 설정 항목 입 니 다.rate 는 1 초 에 페이지 수 를 올 리 고 burst 는 병발 수 입 니 다.예 를 들 어 1/3 은 3 개의 병발 이 고 1 초 에 한 페이지 를 올 리 는 것 입 니 다.
간단 한 통계:이 기능 은 간단 한 운행 상태 통계 일 뿐 5m 는 5 분 동안 임무 수행 상황 이 고 1h 는 1 시간 동안 임무 통 계 를 실행 하 며 1d 는 하루 동안 운행 통계 이 며 all 은 모든 임무 통계 이다.
실행:run 단 추 는 프로젝트 가 처음 실행 되 려 면 누 르 는 단추 입 니 다.이 기능 은 프로젝트 의 on 을 실행 합 니 다.start 방법 으로 입구 작업 을 생 성 합 니 다.
작업 목록:최신 작업 목록 표시,상태 보기,오류 보기 등
결과 보기:항목 이 기어 오 른 결 과 를 봅 니 다.
5.pyspider 프로젝트 만 들 기
위 그림 의 새 항목 단 추 를 누 르 십시오.

6.생 성 된 pyspider 프로젝트



Python 에서 Pyspider 파충류 프레임 워 크 의 기본 사용 에 대한 상세 한 설명 을 담 은 이 글 은 여기까지 입 니 다.더 많은 Pyspider 파충류 프레임 워 크 사용 내용 은 우리 의 이전 글 을 검색 하거나 아래 의 관련 글 을 계속 찾 아 보 세 요.앞으로 많은 응원 부 탁 드 리 겠 습 니 다!