Scrapy 구성 동적 에이전트 IP 구현
1704 단어 Scrapy동적 에이전트 IP
# settings
DOWNLOADER_MIDDLEWARES = {
'text.middlewares.TextDownloaderMiddleware': 543,
# 'text.middlewares.RandomUserAgentMiddleware': 544,
# 'text.middlewares.CheckUserAgentMiddleware': 545,
'text.middlewares.ProxyMiddleware': 546,
'text.middlewares.CheckProxyMiddleware': 547
}
# settings IP
PROXIES = [
"http://101.231.104.82:80",
"http://39.137.69.6:8080",
"http://39.137.69.10:8080",
"http://39.137.69.7:80",
"http://39.137.77.66:8080",
"http://117.191.11.102:80",
"http://117.191.11.113:8080",
"http://117.191.11.113:80",
"http://120.210.219.103:8080",
"http://120.210.219.104:80",
"http://120.210.219.102:80",
"http://119.41.236.180:8010",
"http://117.191.11.80:8080"
]
# middlewares
import random
class ProxyMiddleware(object):
def process_request(self, request, spider):
ip = random.choice(spider.settings.get('PROXIES'))
print(' IP:', ip)
request.meta['proxy'] = ip
class CheckProxyMiddleware(object):
def process_response(self, request, response, spider):
print(' IP:', request.meta['proxy'])
return response
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
AWS lambda+scrapy로 정기적으로 서버리스 스크래핑 1.8먼저 결론을 쓰면 Lambda에서 움직이는 곳까지 갈 수 없었습니다. 다른 방법의 대처는 있으므로, 그쪽이 잘 되면 추기, 혹은 다른 기사로서 들려고 생각합니다. 이번에는 작성한 weather_spider.py를 A...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
