체인 중고 주택 거래 원본
# ,
import requests
import pandas as pd
import pprint
import csv
import pandas as pd
from bs4 import BeautifulSoup
url='https://sh.lianjia.com/chengjiao/{areo}/pg{page}/'
data=[]
#
arealist=['beicai','biyun','caolu','chuansha','datuanzhen','geqing','gaohang','gaodong','huamu',
'hangtou','huinan','jinqiao','jinyang','kangqiao','lujiazui','laogangzhen','lingangxincheng',
'lianyang','nichengzhen','nanmatou','sanlin','shibo','shuyuanzhen','tangqiao','tangzhen','waigaoqiao',
'wanxiangzhen','weifang','xuanqiao','xinchang','yuqiao1','yangdong','yuanshen','yangjing',
'zhangjiang','zhuqiao','zhoupu']
for j in range (1,101):
for a in arealist:
houseurl=url.format(areo=a,page=j)
res=requests.get(houseurl)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
content=soup.select('.info')
# print(content)
# print (type(content))
for element in content:
datum={}
try:
title=element.select('.title')[0].text
except:
title=''
try:
houseinfo=element.select('.houseInfo')[0].text
except:
houseinfo=''
try:
dealDate=element.select('.dealDate')[0].text
except:
houseinfo=''
try:
positionInfo=element.select('.positionInfo')[0].text
except:
positionInfo=''
try:
unitPrice=element.select('.unitPrice')[0].text
except:
unitPrice=''
try:
showprice=element.select('.dealCycleTxt')[0].text
except:
showprice=''
try:
totalPrice=element.select('.totalPrice')[0].text
except:
totalPrice=''
try:
metroline=element.select('.dealHouseTxt')[0].text
except:
metroline=''
datum['title']=title
datum['metroline']=metroline
datum['houseinfo']=houseinfo
datum['dealDate']=dealDate
datum['positionInfo']=positionInfo
datum['unitPrice']=unitPrice
datum['showprice']=showprice
datum['totalPrice']=totalPrice
datum['page']=j
datum['area']='pudong' #
datum['mingxi']=a #
data.append(datum)
# print(title)
# pprint.pprint(datum)
# csv
df=pd.DataFrame(data)
# print(data)
df.head()
df.to_csv('C/Sandra/pudong.csv')
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.