python 파충류 요청 헤드 설정 코드

1.requests 설정 요청 헤더:

import requests

url="http://www.targetweb.com"

headers={

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Cache-Control':'max-age=0',

'Connection':'keep-alive',

'Referer':'http://www.baidu.com/',

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400'}

res=requests.get(url,headers=headers)

#           ，      

#res=requests.get(url,stream=True,headers)

2.Selenium+Chrome 요청 헤더 설정:

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')#     
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400"')#     
browser = webdriver.Chrome(chrome_options=options)
url="http://www.targetweb.com"
browser.get(url)
browser.quit()

3.selenium+phantomjs 요청 헤더 설정:

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
des_cap = dict(DesiredCapabilities.PHANTOMJS)
des_cap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")
browser = webdriver.PhantomJS(desired_capabilities=des_cap)
url="http://www.targetweb.com"
browser.get(url)
browser.quit()

4.파충류 프레임 워 크 scrapy 설정 요청 헤드:
settings.py 파일 에 다음 과 같이 추가 합 니 다:

DEFAULT_REQUEST_HEADERS = {
'accept': 'image/webp,*/*;q=0.8',
'accept-language': 'zh-CN,zh;q=0.8',
'referer': 'https://www.baidu.com/',
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400',}

5.Python 비동기 Aiohttp 요청 헤더 설정:

import aiohttp
url="http://www.targetweb.com"
headers={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Referer':'http://www.baidu.com/',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400'}
asyncwithaiohttp.ClientSession(headers=headers)assession:
asyncwithsession.get(url)asresp:
print(resp.status)
print(awaitresp.text())

내용 확장:
1.헤 더 를 왜 설정 합 니까? 
웹 페이지 에 기어 오 르 기 를 요청 할 때 출력 된 text 정보 에 죄송합니다.방문 할 수 없습니다.이것 이 바로 기어 오 르 기 금지 입 니 다.기어 오 르 기 체 제 를 통 해 이 문 제 를 해결 해 야 합 니 다.
headers 는 requests 가 역 기어 오 르 기 를 요청 하 는 방법 중 하나 로 우리 가 이 웹 페이지 에 들 어간 서버 자체 가 데 이 터 를 기어 오 르 는 척 하 는 것 과 같다.
반 파충류 웹 페이지 에 대해 서 는 headers 정 보 를 설정 하여 브 라 우 저 로 웹 사 이 트 를 방문 하 는 것 을 모 의 할 수 있다. 。
2.헤 더 스 는 어디서 찾 습 니까? 
구 글 이나 불 여우 브 라 우 저,웹 페이지 에서 클릭:오른쪽 클릭 C>검사 C>나머지 그림 에 따라 조작 을 표시 하려 면 Fn+F5 를 누 르 면 웹 페이지 를 새로 고 쳐 야 합 니 다. 
어떤 브 라 우 저 는 클릭:우 클릭->요 소 를 보고 새로 고침 합 니 다.
이상 은 python 파충류 요청 헤드 설정 코드 에 대한 상세 한 내용 입 니 다.python 파충류 요청 헤드 를 어떻게 설정 하 는 지 에 대한 자 료 는 다른 관련 글 에 주목 하 십시오!