요청 한 지름길 만 들 기
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def parse(self,response):
for quote in response.css('div.quote'):
yield{
'text':quote.css('span.text::text').extract_first(),
'author':quote.css('span small::text').extract_first(),
'tags':quote.css('div.tags a.tag::text').extract(),
}
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
yield response.follow(next_page,callback = self.parse)
scrapy.Request 와 달리 response.follow 는 웹 페이지 를 직접 이동 하 는 것 을 지원 합 니 다.url join 방법 이 필요 없습니다.주의해 야 할 것 은 response.follow 가 요청 인 스 턴 스 만 되 돌려 주 는 것 입 니 다.너 는 이 요청 을 만들어 야 한다.
문자열 대신 선택 기 에 response.follow 를 전달 할 수 있 습 니 다.이 선택 기 는 중요 한 속성 을 추출 할 수 있 습 니 다:
>>>for href in response.css('li.next a::attr(href)'):
yield response.follow(href, callback = self.parse)
태그 요소 에 대해 간단 한 방법 이 있 습 니 다.response.follow 는 href 속성 을 자동 으로 사용 합 니 다.그래서 코드 가 더 간결 합 니 다.
>>>for a in response.css('li.next a'):
yield response.follow(a,callback = self.parse)
메모:resposne.follow(response.css(li.next a)는 무효 값 입 니 다.response.css 는 선택 기의 모든 결 과 를 가 진 유사 한 목록 의 대상 을 되 돌려 줍 니 다.단일 선택 기 가 아 닙 니 다.예 를 들 어 하나의 for 순환 도*response.follow(response.css(li.nexta)[0]을 사용 할 수 있 습 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
