노기자카46의 멤버 아키모토 한여름의 블로그 사진을 스크래핑

url = 'http://blog.nogizaka46.com/manatsu.akimoto/'
headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "lxml")

past_blog_link_list = []


for option_tag in option_tag_list:
    if type(option_tag) == str:
        continue
        # なぜかoption_tagタグではない、strの型のものも引っかかるので、除外。
    link = option_tag['value']
    if re.search('\d{6}$', link):
    #　過去のブログのリンク先のリストは201212のような形式になっている。こうしたものだけ抽出。
        past_blog_link_list += [link]

# for past_blog_link in past_blog_link_list:
os.chdir('/Users/mizukoshiryuuhei/nogi_pic/nogizaka_pic')
cnt = 1
for past_blog_link in past_blog_link_list:
    response = requests.get(past_blog_link, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    img_tag_list = soup.find_all('img')
    for img_tag in img_tag_list:
        img_link = img_tag['src']
        if re.search('jpeg$', img_link):
            try:
                urlretrieve(img_link, f"akimoto_manatsu_blog_{cnt}.jpg")
                cnt += 1
            except error:
            # urllibのリクエストのエラーの基底クラス
                pass


print(f'{cnt} pictures were saved')

import requests
from bs4 import BeautifulSoup
import re
from urllib.request import urlretrieve
from urllib import error
import os



url = 'http://blog.nogizaka46.com/manatsu.akimoto/'
headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "lxml")
# 過去のブログのリンク先のリスト(月別)
option_tag_list = soup.find_all('option')
past_blog_link_list = []

for option_tag in option_tag_list:
    if type(option_tag) == str:
        continue
        # なぜかoption_tagタグではない、strの型のものも引っかかるので、除外。
    link = option_tag['value']
    if re.search('\d{6}$', link):
    #　過去のブログのリンク先のリストは201212のような形式になっている。こうしたものだけ抽出。
        past_blog_link_list += [link]


# for past_blog_link in past_blog_link_list:
os.chdir('/Users/mizukoshiryuuhei/nogi_pic/nogizaka_pic')
cnt = 1
for past_blog_link in past_blog_link_list:
    response = requests.get(past_blog_link, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    img_tag_list = soup.find_all('img')
    for img_tag in img_tag_list:
        img_link = img_tag['src']
        if re.search('jpeg$', img_link):
            try:
                urlretrieve(img_link, f"akimoto_manatsu_blog_{cnt}.jpg")
                cnt += 1
            except error:
            # urllibのリクエストのエラーの基底クラス
                pass


print(f'{cnt} pictures were saved')