python 파충류 의 bs4 데이터 분석

1.데이터 분석 실현
정규 표현 식 자체 가 어렵 기 때문에 bs4 가 데이터 분석 을 실현 하 는 것 을 소개 합 니 다.이외에 도 xpath 해석 이 있 습 니 다.xpath 는 python 에서 만 사용 할 수 있 기 때문에 bs4 는 정규 해석 과 마찬가지 로 두 가지 사례 만 간단하게 작성 할 수 있 습 니 다.앞으로 의 포 인 트 는 xpath 에 있 을 것 이다.
설치 라 이브 러 리
잡담 은 그만 하고,우 리 는 먼저 bs4 와 관련 된 외부 라 이브 러 리 를 설치 합 니 다.비교적 간단 하 다.
1.먼저 cmd 명령 패 널 을 열 고 bs4 와 lxml 를 순서대로 설치 합 니 다.
2.명령 은 각각 pip install bs4 와 pip install lxml 입 니 다.
3.설치 가 끝 난 후에 우 리 는 그들 을 호출 하여 잘못 보고 하 는 지 볼 수 있다.
본인 의 수준 이 제한 되 어 있 기 때문에 잘못 보고 하면 형제들 은 바 이 두 가 좋 습 니 다.cmd 명령 이 잘못 걸 린 건 아니 겠 지~)
3.bs4 의 용법
잡담 은 그만 하고,우선 bs4 의 용법 을 간단하게 소개 합 니 다.


사진

import requests
from bs4 import BeautifulSoup
import os

if __name__ == "__main__":
    #      
    if not os.path.exists("./  （bs4）"):
        os.mkdir("./  （bs4）")

    # UA  
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    #    url
    for i in range(1, 3): #    
        url = "https://www.qiushibaike.com/imgrank/page/%s/" % str(i)
        #       
        page = requests.get(url = url, headers = header).text
        #     
        soup = BeautifulSoup(page, "lxml")
        data_list = soup.select(".thumb > a")
        for data in data_list:
            url = data.img["src"]
            title = url.split("/")[-1]
            new_url = "https:" + url
            photo = requests.get(url = new_url, headers = header).content
            #   
            with open("./  （bs4）/" + title, "wb") as fp:
                fp.write(photo)
            print(title, "    ！！！")
    print("over!!!")

5.삼 국 연의

import requests
from bs4 import BeautifulSoup

if __name__ == "__main__":
    # UA   
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
        }

    # URL
    url = "http://sanguo.5000yan.com/"

    #     
    page_text = requests.get(url = url, headers = header)
    page_text.encoding = "utf-8"
    page_text = page_text.text
    soup = BeautifulSoup(page_text, "lxml")
    
    # bs4   
    li_list = soup.select(".sidamingzhu-list-mulu > ul > li")
    
    for li in li_list:
        print(li)
        new_url = li.a["href"]
        title = li.a.text

        #       
        response = requests.get(url = new_url, headers = header)
        response.encoding = "utf-8"
        new_page_text = response.text
        new_soup = BeautifulSoup(new_page_text, "lxml")

        page = new_soup.find("div", class_ = "grap").text

        with open("./    .txt", "a", encoding = "utf-8") as fp:
            fp.write("
" + title + ":" + "
" + "
" + page)

        print(title + "    ！！！")

python 파충류 의 bs4 데이터 분석 에 관 한 이 글 은 여기까지 소개 되 었 습 니 다.더 많은 python bs4 데이터 분석 내용 은 우리 의 이전 글 을 검색 하거나 아래 의 관련 글 을 계속 찾 아 보 세 요.앞으로 많은 응원 바 랍 니 다!