파이썬 파충류 - 미단음식 데이터 얻기
#from bs4 import BeautifulSoup # html xml
import urllib.request
import csv
import re
import json
csv_file = open("rent.csv","w",encoding='utf-8')
csv_writer = csv.writer(csv_file, delimiter=',')
class Spider:
def loadPage(self,page):
url = "http://gz.meituan.com/meishi/pn"+str(page)+"/"
#user-Agent
user_agent="Mozilla/5.0 (compatible; MSIE 9.0; Windows NT6.1; Trident/5.0"
headers = {"User-Agent":user_agent}
req = urllib.request.Request(url,headers = headers)
response = urllib.request.urlopen(req)
html =str(response.read(),'utf-8')
# :{"poiId":xxx}
#re.S re.S, ,
# re.S,
pattern = re.compile(r'{"poiId":.*?}',re.S)
item_list = pattern.findall(html)#
#dictinfo = json.loads(item_list[0])#
list = []#
for data in item_list:
dictinfo = json.loads(data)
csv_writer.writerow([dictinfo["title"],dictinfo["address"],dictinfo["avgScore"],dictinfo["avgPrice"]])
if __name__ == "__main__":
mySpider = Spider()
for i in range(1,33):
print("fecth:Page"+str(i))
mySpider.loadPage(i)
csv_file.close()
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.