python 파충류가 시간 초과를 여러 번 요청하는 몇 가지 재시험 방법 (6가지)

첫 번째 방법

headers = Dict()
url = 'https://www.baidu.com'
try:
 proxies = None
 response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3)
except:
 # logdebug('requests failed one time')
 try:
  proxies = None
  response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3)
 except:
  # logdebug('requests failed two time')
  print('requests failed two time')

요약: 코드가 비교적 번거롭고try를 다시 시도하는 횟수가 많을수록 코드 줄 수가 많지만 로그를 인쇄하는 것이 비교적 편리하다
두 번째 방법

def requestDemo(url，):
 headers = Dict()
 trytimes = 3 #  
 for i in range(trytimes):
 try:
  proxies = None
  response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3)
  #  302 
  if response.status_code == 200:
  break
 except:
  # logdebug(f'requests failed {i}time')
   print(f'requests failed {i} time')

요약: 코드를 훑어보는 것이 첫 번째보다 훨씬 간소화되었고 로그 인쇄도 편리하다
세 번째 방법

def requestDemo(url， times=1):
 headers = Dict()
 try:
  proxies = None
  response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3)
  html = response.text()
  # todo  
  pass
  return html
 except:
  # logdebug(f'requests failed {i}time')
  trytimes = 3 #  
  if times < trytimes:
  times += 1
   return requestDemo(url， times)
  return 'out of maxtimes'

총괄: 교체가 비교적 높아 보이고 중간에 코드를 처리할 때 다른 오류가 있으면 다시 시도할 수 있다.단점은 이해하기 어렵고 오류가 발생하기 쉽습니다. 또한try에 포함된 내용이 너무 많으면 코드 운행 속도에 불리합니다.
네 번째 방법

@retry(3) #   3
def requestDemo(url):
 headers = Dict()
 proxies = None
 response = requests.get(url, headers=headers, verify=False, proxies=None, timeout=3)
 html = response.text()
 # todo  
 pass
 return html
 
def retry(times):
 def wrapper(func):
  def inner_wrapper(*args, **kwargs):
   i = 0
   while i < times:
    try:
     print(i)
     return func(*args, **kwargs)
    except:
     #   func.__name__  say 
     print("logdebug: {}()".format(func.__name__))
     i += 1
  return inner_wrapper
 return wrapper

총괄: 장식기의 장점은 여러 가지 함수 복용으로 사용이 매우 편리하다
다섯 번째 방법

#!/usr/bin/python
# -*-coding='utf-8' -*-
import requests
import time
import json
from lxml import etree
import warnings
warnings.filterwarnings("ignore")

def get_xiaomi():
 try:
  # for n in range(5): #  5 
  #  print(" "+str(n)+" ")
  for a in range(5): #  5 
   print(a)
   url = "https://www.mi.com/"
   headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Connection": "keep-alive",
    # "Cookie": "xmuuid=XMGUEST-D80D9CE0-910B-11EA-8EE0-3131E8FF9940; Hm_lvt_c3e3e8b3ea48955284516b186acf0f4e=1588929065; XM_agreement=0; pageid=81190ccc4d52f577; lastsource=www.baidu.com; mstuid=1588929065187_5718; log_code=81190ccc4d52f577-e0f893c4337cbe4d|https%3A%2F%2Fwww.mi.com%2F; Hm_lpvt_c3e3e8b3ea48955284516b186acf0f4e=1588929099; mstz=||1156285732.7|||; xm_vistor=1588929065187_5718_1588929065187-1588929100964",
    "Host": "www.mi.com",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36"
   }
   response = requests.get(url,headers=headers,timeout=10,verify=False)
   html = etree.HTML(response.text)
   # print(html)
   result = etree.tostring(html)
   # print(result)
   print(result.decode("utf-8"))
   title = html.xpath('//head/title/text()')[0]
   print("title==",title)
   if " " in title:
   # print(response.status_code)
   # if response.status_code ==200:
    break
  return title

 except:
  result = " "
  return result

if __name__ == '__main__':
 print(get_xiaomi())

여섯 번째 방법
Python 재시도 모듈 retrying

#  
@retry(stop_max_attempt_number=5)
def get_proxies(self):
 r = requests.get(' ')
 print(' ')
 raise Exception(" ")
 print('  = %s' % r.text)
 params = dict()
 if r and r.status_code == 200:
  proxy = str(r.content, encoding='utf-8')
  params['http'] = 'http://' + proxy
  params['https'] = 'https://' + proxy

#  ， 100 ( )
@retry(stop_max_attempt_number=5,stop_max_delay=50)
#  50， ， 5 ！

#  
@retry(stop_max_attempt_number=5,wait_fixed=2000)
#  
@retry(stop_max_attempt_number=5,wait_random_min=100,wait_random_max=2000)
#  
@retry(stop_max_attempt_number=5,wait_incrementing_increment=1000)

#  ， 
def retry_if_io_error(exception):
 return isinstance(exception, IOError)

@retry(retry_on_exception=retry_if_io_error)
def read_a_file():
 with open("file", "r") as f:
  return f.read()

read_a_file 함수 이상이 발생하면retry_on_exception이 가리키는 함수는 되돌아오는 것이 True인지 False인지 판단하고, True라면 지정한 재시도 횟수를 실행한 후 이상을 던지고, False는 이상을 던진다.
당시 자신이 테스트를 할 때 인터넷에서 이리저리 긁어모으는 것은retry_on_exception은 함수를 지정합니다. 함수는 지정한 이상을 되돌려줍니다. 다시 시도합니다. 이상이 아니면 종료됩니다.정말 속인다!
에이전트 가져오기 응용 프로그램 보기 (단지 Retrying 모듈을 테스트하기 위해서)
python 파충류가 여러 번 시간을 초과해 달라고 요청하는 몇 가지 재시도 방법에 대한 이 글을 소개합니다. 더 많은 python 파충류가 여러 번 시간을 초과해 달라고 요청하는 내용은 저희 이전의 글을 검색하거나 아래의 관련 글을 계속 훑어보십시오. 앞으로 많은 응원 부탁드립니다!