Python에서 grequests를 사용하여 요청을 동시에 보내는 예

앞말
requests는 Python 송신 인터페이스 요청이 매우 유용한 삼방 라이브러리로 K신이 작성하여 간단하고 손이 빠르다.그러나requests 발송 요청은 직렬, 즉 막힙니다.요청을 보내야만 다른 요청을 보낼 수 있습니다.
테스트 효율을 높이기 위해서 일반적으로 우리는 요청을 병행하여 발송해야 한다.이곳은 다중 스레드나 협동 스레드,gevent나aiohttp를 사용할 수 있지만, 사용하기에는 상대적으로 번거롭다.
grequests는 K신이 gevent+requests를 기반으로 작성한 동시 발송 요청 라이브러리로 사용하기에 매우 간단합니다.
설치 방법:pip installgeventgrequests
프로젝트 주소:https://github.com/spyoungtech/grequests
grequests 간단한 사용
우선 요청 목록을 만들고grequests를 사용합니다.맵 () 을 병렬로 보내면 응답 목록을 얻을 수 있습니다.예는 다음과 같다.

import grequests

req_list = [ #  
 grequests.get('http://httpbin.org/get?a=1&b=2'),
 grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
 grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]

res_list = grequests.map(req_list) #  ， 
print(res_list[0].text) #  

grequests는 get,post,put,delete 등 Requests가 지원하는 HTTP 요청 방법을 지원합니다. 매개 변수와 requests가 일치하여 요청을 보내는 것은 매우 간단합니다.
스트리밍을 통해res_list는 모든 요청의 반환 결과를 얻을 수 있습니다.
grequests와requests 성능 비교
우리는 다음 requests 직렬과grequests를 비교하여github를 100번 요청할 수 있습니다.com의 시간, 예는 다음과 같다.
requests로 요청 보내기

import requests
import time

start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)

실제 소요 시간 약 100s+
grequests로 보내기

import grequests
import time

start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)

소요 시간 약 3.58s
이상 처리
대량으로 요청을 보낼 때 어떤 요청 URL에 접근할 수 없거나 시간을 초과하는 등 이상이 발생할 수 있습니다.grequests.맵 () 방법은 사용자 정의 이상 처리 함수도 지원합니다. 예는 다음과 같습니다.

import grequests

def err_handler(request, exception):
 print(" ")

req_list = [
 grequests.get('http://httpbin.org/delay/1', timeout=0.001), #  
 grequests.get('http://fakedomain/'), #  
 grequests.get('http://httpbin.org/status/500') #  500 
]

res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)

실행 결과:
요청 오류
요청 오류
[None, None, ]
이상은 Python이grequests를 사용하여 요청을 보내는 예시의 상세한 내용입니다. 더 많은 Pythongrequests 발송 요청에 대한 자료는 저희 다른 관련 글을 주목해 주십시오!