jupyter notebook 에서 제목 과 텍스트 를 수집 하여 txt 문서 에 저장 합 니 다. py

1937 단어 python
#jupyter notebook         

import requests
from bs4 import BeautifulSoup
import re
import os
import pandas as pd

url = 'http://www.shicimingju.com/chaxun/list/3710.html'
r = requests.get(url)
html = r.text.encode(r.encoding).decode()
soup = BeautifulSoup(html,'lxml')
#soup

#    
content = soup.find('div',attrs ="shici-content").text
content = re.sub('(
|\s)'
,'',content)# , #content # title = soup.find('h1',attrs ="shici-title").text #title ##### TXT ' filedir = os.getcwd() + '/ ' if not os.path.exists(filedir): os.mkdir(filedir) with open(filedir + '/%s.txt'%title,mode = 'w',encoding = 'utf-8') as f: f.write(title + '
'
+ content)

좋은 웹페이지 즐겨찾기