python 파충류 (4k 그림 기어 오기) + xpath 분석

URL:http://pic.netbian.com/4kmeinv/ 구체 적 인 실현 은 중고 주택 정 보 를 얻 는 것 과 유사 하 다. 이 사례 는 이미지 데이터 (바 이 너 리 데이터) 의 저장 과 중국어 코드 의 처리 에 대해 상세 한 설명 을 하지 않 고 상기 코드 를 참고 하면 다음 과 같다.
import requests
from lxml import etree
import os
#UA  
headers={
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
}
#  url
url = 'http://pic.netbian.com/4kmeinv/'
response = requests.get(url=url,headers=headers)
#                  
# response.encoding='utf-8'
page_text =response.text
#           src    alt   
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]//li')
#       
if not os.path.exists('./picLib'):
    os.mkdir('./picLib')
for li in li_list:
    #    
    img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]
    img_title = li.xpath('./a/img/@alt')[0]+".jpg"
    #             
    img_title = img_title.encode('iso-8859-1').decode('gbk')
    print(img_title,img_src)
    #                      content
    img_data = requests.get(url=img_src,headers=headers).content
    img_path = 'picLib/'+img_title
    with open(img_path,'wb') as fp:
        fp.write(img_data)
        print(img_title+"    ！！！")
모델 사용
Nginx 운영 노트

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage