파충류--여러 url 데이터 얻기

요청된 수동 전송


pipelines.py
class SecondPipeline(object):
    f = None

    def open_spider(self,spider):
        print('start')
        self.f = open('./qiubai.text','w',encoding='utf-8')

    def process_item(self, item, spider):
        self.f.write(item['author']+':'+ item['content'])
        return item

    def close_spider(self,spider):
        self.f.close()
        print('end')

qiubai.py
import scrapy
from second.items import SecondItem


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.qiushibaike.com']
    start_urls = ['https://www.qiushibaike.com/text/']

    url = 'https://www.qiushibaike.com/text/page/%d/'
    pageNum = 1

    def parse(self, response):
        print(' ')
        div_list = response.xpath("//div[@id='content-left']/div")
        for div in div_list:
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath(".//div[@class='content']/span/text()").extract_first()

            items = SecondItem()
            items['author'] = author
            items['content'] = content

            yield items

        #  , url ,
        #  url,yield scrapy.Request,
        # callback  , , parse, (), 
        # url = 'https://www.qiushibaike.com/text/page/2/'
        # yield scrapy.Request(url=url, callback=self.parse)

        if self.pageNum <= 13:
            self.pageNum += 1
            new_url = format(self.url % self.pageNum)
            yield scrapy.Request(url=new_url, callback=self.parse)

소결:
  • 여러 URL 수동 추가,callback 함수 실행
  • 페이지 레이아웃이 일치할 때 순환 호출 해석 함수 귀속 주의 종료 조건
  • yield scrapy.Request
  • 대상 데이터 속성과 실례화 대상이 결합된 특성에 주의하세요!
  • format 함수의 사용
  • 좋은 웹페이지 즐겨찾기