경동 상품 평론 100페이지를 얻다
#items.py
import scrapy
class InsistItem(scrapy.Item):
comment=scrapy.Field()
#pipelines.py
import json
class InsistPipeline(object):
def __init__(self):
self.f=open('tencent.json','w',encoding='gbk')
def process_item(self, item, spider):
#item(Item ， item)
#
content=json.dumps(dict(item),ensure_ascii=False)+",
"
self.f.write(content)
return item
#tengxun.py
import scrapy
from insist.items import InsistItem
import json
class TengxunSpider(scrapy.Spider):
name = 'tengxun'
allowed_domains = ['sclub.jd.com']
#start_urls = ['https://item.jd.com/4432058.html']
baseURL = 'https://sclub.jd.com/comment/productPageComments.action?productId=4432058&score=0&sortType=5&pageSize=10&isShadowSku=0&rid=0&fold=1&page='
offset = 0
start_urls = [baseURL + str(offset)]
def parse(self, response):
com=json.loads(response.body.decode('gbk'))
comment=com['comments']
for co in comment:
item = InsistItem()
item['comment']=co['content']
yield item
if self.offset<100:
self.offset+=1
yield scrapy.Request(self.baseURL+str(self.offset),callback=self.parse)다음으로 전송:https://www.cnblogs.com/persistence-ok/p/11576574.html
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
