에이전트 IP

5496 단어 일상 노트
원리: 호스트로 프록시 IP에 먼저 접근한 다음에 프록시 IP 주소를 통해 인터넷에 접근한다. 사이트(서버)가 수신한 액세스 IP는 프록시 IP이다.
urllib.request.ProxyHandler() 동적 설정 프록시 IP 풀.프록시 IP는 주로 사전 형식으로 작성됩니다.
프록시를 설정한 후 설정된 프록시 IP를 urllib에 기록합니다.request.build_Opener () 방법, Opener 대상을 생성하고 Opener의open 방법을 통해 사이트 (서버) 에 요청을 보냅니다.
import urllib.request
from http import cookiejar

url = 'http://movie.douban.com/'
# IP
proxy_handler = urllib.request.ProxyBasicAuthHandler({
    'http':'',
    'https':''
})

# build_opener() IP opener 
opener = urllib.request.build_opener(prxies=proxy_handler)
r = opener.open(url)
html = r.read().decode('utf-8')
f = open('html.txt', 'w', encoding='utf-8')
f.write(html)
f.close()


콩잎 로그인, 운행 오류 쿠키 가입
import urllib.request
from http import cookiejar

url = 'http://movie.douban.com'

filename = 'cookie.txt' 

# MozillaCookieJar 
cookie = cookiejar.MozillaCookieJar(filename)

# cookie 
cookie.load(filename, ignore_discard=True, ignore_expires=True)

#httpcookieprocessor cookie 
handler = urllib.request.HTTPCookieProcessor(cookie)

# opener
opener = urllib.request.build_opener(handler)

#opener 
r = opener.open(url)
print(r.read())
cookie.save(ignore_discard=True, ignore_expires=True)

좋은 웹페이지 즐겨찾기