python 은 re 모듈 을 사용 하여 콩잎 을 기어 올 라 가기 Top 250 영화

기어 오 르 기 x 4 단계 원리:
1.요청 보 내기:requests
2.해당 데 이 터 를 가 져 오기:상대방 과 그 에 대한 직접적인 반환
3.원 하 는 데 이 터 를 분석 하고 추출:re
4.추출 한 데이터 저장:with open()파일 처리
x 3 단계 곡 오 르 기:
1.요청 보 내기
2.데이터 분석
3.데이터 저장
메모:콩 쪽 홈 페이지 파충 류 는 요청 헤드 를 사용 해 야 합 니 다.그렇지 않 으 면 서버 에서 데 이 터 를 되 돌려 주지 않 습 니 다.

import re
import requests

#  x   :
# 1.    
def get_data(url, headers):
  response = requests.get(url, headers=headers)
  #       html     .text        ,           .content          
  # print(response.text)  #       ,  html  
  return response.text

# 2.    
def parser_data(text):
  # re.findall("     ", "     ", re.S) #     :re.S     
  data = re.findall(
    '<div class="item">.*?<a href="(.*?)" rel="external nofollow" >.*?<span class="title">(.*?)</span>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)   </span>', text, re.S)
  for move_info in data:
    yield move_info

# 3.    
def save_data(res_list_iter):
  with open("  TOP250.txt", "a", encoding="utf-8") as f:
    for i in res_list_iter:
      move_page, move_title, move_score, move_evaluation = i
      # print(move_page, move_title, move_score, move_evaluation)
      str1 = f"    :《{move_title}》      :{move_score}      :{move_evaluation}       :{move_page}
" f.write(str1) # headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 \ Safari/537.36' } n = 0 # 10 for i in range(10): url = f"https://movie.douban.com/top250?start={n}&filter==" n += 25 text = get_data(url, headers) res_list_iter = parser_data(text) save_data(res_list_iter)
실행 결과:

이상 은 python 이 re 모듈 을 사용 하여 콩짜개 Top 250 영 화 를 기어 오 르 는 상세 한 내용 입 니 다.python 이 콩짜개 영 화 를 기어 오 르 는 것 에 관 한 자 료 는 우리 의 다른 관련 글 을 주목 하 세 요!

좋은 웹페이지 즐겨찾기