[코드]--python 파충류 연계--기어오르기 성어

8363 단어
할 일 없이 사자성어 접룡을 놀았기 때문에python으로 사자성어 사이트의 사자성어를 꺼내 코드에 직접 올리고 싶었다.
#coding=utf-8

import requests
from bs4 import BeautifulSoup
import sqlite3
import uuid

conn = sqlite3.connect("idiombase.db3")  #  sqlite.db   
print ("open database success")
conn.execute("drop table IF EXISTS idiom")
query = """create table IF NOT EXISTS idiom(
    id VARCHAR(50),
    word VARCHAR(50)
);"""
conn.execute(query)
print ("Table created successfully")

all_url = 'http://chengyu.t086.com/'


#http   
Hostreferer = {
    'User-Agent':'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
    'Referer':'http://chengyu.t086.com/'
}

word=['A','B','C','D','E','F','G','H','J','K','L','M','N','O','P','Q','R','S','T','W','X','Y','Z']

for w in word:

    for n in range(1,100):

        url=all_url+'list/'+w+'_'+str(n)+'.html'
       
        start_html = requests.get(url,headers = Hostreferer)
        if(start_html.status_code==404):
            break
        start_html.encoding='gb2312'
        soup = BeautifulSoup(start_html.text,"html.parser")

        listw = soup.find('div',class_='listw')
        
        lista = listw.find_all('a')
        for p in lista:
            print(p.text)
            ids=str(uuid.uuid1())
            query = "insert into idiom (id,word) values ('"+ids+"','"+p.text+"');"
            conn.execute(query)
            conn.commit()

데이터를 찾은 후, sqlite 데이터베이스에 저장하고, 나중에 사용하고 싶을 때 마음대로 찾으세요
전재 대상:https://www.cnblogs.com/girliswater/p/9599710.html

좋은 웹페이지 즐겨찾기