scrapy 머리 수정 방법 상세 설명
어떠한 설정 도 없 이 scrapy 는 요청 에 기본적으로 머리 정 보 를 추가 합 니 다.
Scrapy 는 프로필 에 있 는 USER 를 통 해AGENT 설정,머리 에 User-agent 를 자동 으로 추가 합 니 다.이 설정 은 User-agent 를 포함 하 는 모든 설정 으로 덮어 씁 니 다.
다운로드 기 를 요청 하면 머리 Accept-Encoding:gzip,deflate 가 자동 으로 추 가 됩 니 다.Accept-Encoding 을 포함 한 머리 설정 으로 덮어 씁 니 다.
settings.py 파일 의 기본 머리 설정
#DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en'
#}
Accept-language:en,주석 수정 취소 또는 추가 삭제 가능
우선 순위
class XXXSpider(scrapy.Spider):
...
custom_settings = {
DEFAULT_REQUEST_HEADERS = {...}
}
....
엔진 에 Request 를 되 돌려 줄 때 머리 를 설정 할 수 있 습 니 다.
...
def parse(self):
headers = {
...
}
yield scrapy.Request(url, headers=headers)
Request 에서 미들웨어 를 다운로드 하여 다운로드 기 에 보 내 달라 고 요청 할 때 미들웨어 를 다운로드 하여 머리 를 설정 할 수 있 습 니 다.
class XXXDownloaderMiddleware
def process_request(self, request, spider):
request.headers["key"] = value
return None
DOWNLOADER_MIDDLEWARES = {
'project.middlewares.XXXDownloaderMiddleware': 543,
}
여러 번 요청 이 있 을 때 referer 미들웨어 는 Request 의 머리 에 있 는 referer 에 요청 한 url 을 자동 으로 추가 합 니 다.
우선 순위
프로필 에 REFERER 추가ENABLED=False 종료 가능
우선 순위 분석
Scrapy 가 자동 으로 추가 하 는 User-agent 와 Accept-Encoding<프로필 의 기본 설정 DEFAULTREQUEST_HEADERS
스 크 래 피 머리 수정 에 관 한 이 글 은 여기까지 소개 되 었 습 니 다.스 크 래 피 머리 수정 에 관 한 내용 은 예전 의 글 을 검색 하거나 아래 의 관련 글 을 계속 찾 아 보 세 요.앞으로 많은 응원 부 탁 드 리 겠 습 니 다!
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Web Scraping con scrapy y regexcomo solo tenemos un url se la pasamos directamente a scrapy.Request como string y el callback lo dirigimos a nuestro se...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
