scrapyd 의 API 호출 방법 은 기억 하기 어렵 습 니까?파 이 썬 스 크 립 트 하나 로 쉽게 끝 낼 수 있 습 니 다.
scrapyd 공식 문서
http://scrapyd.readthedocs.io/en/stable/overview.html
우선 스 크 라 피 드 가 무엇 인지 알 아 보 겠 습 니 다.
왜 scrapyd 를 사용 합 니까?
어떻게 scrapyd 를 설치 합 니까?
scrapy 사용
시작 에 성공 한 후 브 라 우 저 에서 서버 의 IP 와 기본 포트 번호 6800 을 통 해 접근 할 수 있 습 니 다. 화면 은 그림 과 같 습 니 다 
를 설정 합 니 다.1. 먼저 url 앞의 주석 기 호 를 제거 합 니 다. url 은 scrapyd 서버 의 사이트 주소 입 니 다.
2. 그리고 procject = tenCenter 는 프로젝트 이름 으로 마음대로 이름 을 지 을 수 있 습 니 다 .
3. [deploy] 를 [deploy: 100] 으로 수정 하여 파충류 를 100 이라는 파충류 서버 에 발표 하고, 일반적으로 여러 대상 서버 에 파충류 가 동시에 발표 되 어야 할 때 사용
파충류 추가 명령 은 다음 과 같 습 니 다:Scrapyd-deploy -p --version
매개 변수 설명:
발표 성공 후 브 라 우 저 인터페이스 에서 새로 고침 하면 새로 추 가 된 파충류 프로젝트 이상 scrapyd 공식 문서 에 설명 이 있 습 니 다. 불분명 한 경우 공식 문 서 를 보십시오.
**
포인트 가 왔 습 니 다. 다음은 scrapyd 가 제공 하 는 API 입 니 다.
**
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name
curl http://localhost:6800/cancel.json -d project=spider_name -d job=job_id
curl http://localhost:6800/daemonstatus.json
curl http://localhost:6800/listprojects.json
* * 더 많은 API 는 홈 페이지 를 볼 수 있 습 니 다. * *https://scrapyd.readthedocs.io/en/latest/api.html
…
사실 상기 기억 하기 어 려 운 API 는 간단 한 Python 스 크 립 트 하나만 있 으 면 됩 니 다.
import requests
class ScrapyApi(object):
def __init__(self):
self.ip = "localhost"
self.port = 6800
#
def schedule(self,project,spider):
self.url = "http://%s:%s/schedule.json"%(self.ip,self.port)
self.data = {
"project":project,
"spider":spider
}
return requests.post(url=self.url, data=self.data).json()
#
def cancel(self,project,job_id):
self.url = "http://%s:%s/cancel.json"%(self.ip,self.port)
self.data = {
"project":project,
"job_id":job_id
}
return requests.post(url = self.url, data=self.data).json()
。。。
if __name__=="__main__":
sa = ScrapydApi()
sa.schedule(" "," ")
sa.cancel(" ","job_id")
。。。
물론 다른 방법 도 있 습 니 다. 셸 스 크 립 트 도 좋 은 선택 이나 Python 의 os 모듈 입 니 다. os. system 을 사용 하면 셸 명령 을 직접 호출 할 수 있 고 쉽게 실현 할 수 있 습 니 다.자신 에 게 맞 는 방법 을 고 르 면 좋 을 것 같 아 요.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Python의 None과 NULL의 차이점 상세 정보그래서 대상 = 속성 + 방법 (사실 방법도 하나의 속성, 데이터 속성과 구별되는 호출 가능한 속성 같은 속성과 방법을 가진 대상을 클래스, 즉 Classl로 분류할 수 있다.클래스는 하나의 청사진과 같아서 하나의 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
