Python에서 웹 페이지에서만 글 가져오기

웹 페이지에서 본문을 간단하게 추출할 수 있는 프로그램 라이브러리

먼저 설치

(env)$pip install readability-lxml 

# -*- coding:utf8 -*-
import lxml.html
import readability
def get_content(html):
    """
    HTMLの文字列から (タイトル, 本文) のタプルを取得する。
    """

    document = readability.Document(html)
    content_html = document.summary()
    # HTMLタグを除去して本文のテキストのみを取得する。
    content_text = lxml.html.fromstring(content_html).text_content().strip()
    short_title = document.short_title()
    return short_title, content_text

import utils
import requests
obj = requests.get('https://headlines.yahoo.co.jp/hl?a=20191230-00000310-oric-ent')
title,content = utils.get_content(obj.content)
print(title)
print(content)

역사를 갱신하다