python 파충류 기반 AJAX 페이지 캡 처

1. AJAX 요청 페이지 의 기어 오 르 기
        웹 페이지 찾기:http://www.jy.whzbtb.com/V2PRTS
       스냅 백 을 통 해 우 리 는 이것 이 AJAX 요청 이라는 것 을 알 수 있 습 니 다. 우 리 는 필요 한 인 자 를 가지 고 있어 야 각 페이지 의 내용 을 얻 을 수 있 습 니 다. 구체 적 으로 아래 의 소스 코드 를 볼 수 있 습 니 다.
import urllib.request    
import urllib.error
import urllib.parse
 
""" 、  header"""  
#1.1、        headers 
def get_one_page(i):
    header={  
        "User-Agent":'User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',     
        }  
     
    web_url= "http://www.jy.whzbtb.com/V2PRTS/WinningPublicityInfoList.do"  
    
      
    postData = urllib.parse.urlencode({
         "page": str(i),
         "rows": "10"
        }).encode('utf-8')
    #encode: Unicode   utf-8 
     
    req = urllib.request.Request(url=web_url,
                                 data=postData,
                                 headers=header
                                 )
     
    try:  
        response = urllib.request.urlopen(req, timeout=3)  
    except urllib.error.URLError as e:  
        if hasattr(e, 'code'):  
            print(e.code)  
        if hasattr(e, 'reason'):  
            print(e.reason)  
    else:          
        webData=response.read().decode('utf-8')
        print(webData)
        get_content(webData)
     
def get_content(webData):
    pass  #    , 


for i in range(1,20):   #         
    try:
        get_one_page(i)
    except:
        get_one_page(i)

관심 있 으 신 분 들 은 보 셔 도 돼 요. ,공동 학습, 공동 향상!!

좋은 웹페이지 즐겨찾기