Scrapy 파충류 변경 요청 헤더
1859 단어 파충
middlewares.py 파일 에 요청 헤드 의 목록 을 만 들 고 random 함 수 를 사용 하여 어떤 요청 헤드 를 무 작위 로 호출 합 니까?
middlewares.py
class UserAgentDownloadMiddleware(object):
'''
'''
USER_AGENTS = [
'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36',
'Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36',
'Mozilla/5.0 (X11; Linux i686; rv:64.0) Gecko/20100101 Firefox/64.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0',
]
def process_request(self, request, spider):
user_agent = random.choice(self.USER_AGENTS)
request.headers['User-Agent'] = user_agentsettings.py 파일 에서 호출 요청 헤더 함수 수정(설명 취소,위 에서 정의 한 클래스 호출)
setting.py
DOWNLOADER_MIDDLEWARES = {
'useragent_demo.middlewares.UserAgentDownloadMiddleware': 543,
}
scrapy 파충류 프로그램 에서 호출 을 시작 할 수 있 습 니 다:
import scrapy
import json
class HttpbinSpider(scrapy.Spider):
name = 'httpbin'
allowed_domains = ['httpbin.org']
start_urls = ['http://httpbin.org/user-agent']
def parse(self, response):
user_agent = json.loads(response.text)['user-agent']
print('=='*20)
print(user_agent)
print('==' * 20)
yield scrapy.Request(self.start_urls[0], dont_filter=True) # dont_filter=True 그리고 start 파일 을 실행 하면 새로운 요청 헤드 를 인쇄 할 수 있 습 니 다.
from scrapy import cmdline
cmdline.execute("scrapy crawl httpbin".split())이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
(1) 분포 식 파충류 Scrapy 는 어떻게 해 야 하나 요 - 설치Scrapy 의 설치 에 대해 인터넷 을 샅 샅 이 뒤 졌 습 니 다. 하나씩 설치 하 는 것 은 솔직히 좀 번 거 롭 습 니 다. 그럼 원 키 로 설치 한 것 이 있 습 니까?답 은 분명히 있 습 니 다. 다음은 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
