투투 투투
#encoding:utf8
import requests
import os
from lxml import etree
from multiprocessing import Pool
class Dt:
def __init__(self):
self.stit = "https://www.doutula.com/article/list/?page="
self.root_url = "https://www.doutula.com/article/list/"
self.head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36"}
def get_ts(self,url):
xpath = etree.HTML(requests.get(url,headers=self.head).text)
links = xpath.xpath('//*[@class="row"]/div[1]/a/@href')
for ll in links:
self.img(ll)
def img(self,url):
xpath = etree.HTML(requests.get(url,headers=self.head).text)
name = xpath.xpath('//*[@class="pic-title"]/h1/a/text()')[0].strip()
urls = xpath.xpath('//*[@class="artile_des"]//img/@src')
self.download(name,urls)
def download(self,name,urls):
os.mkdir("img/%s"%name)
for i in urls:
img = requests.get(i,headers=self.head).content
f = open("img/%s/%s"%(name,i[-10:]),"wb")
f.write(img)
print(" ")
def dio(self):
pool = Pool(10)
kkk = pool.map(self.get_ts,[self.stit+str(i) for i in range(1,50)])#
try:
for link in kkk:
self.img(link)
except Exception as e:
print(e)
if __name__ == '__main__':
wode = Dt()
wode.dio()
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.