practice 의 Python 체인 홈 페이지 (xpath)

패키지 및 데이터베이스

import requests

from lxml import etree

import mysqlhelper

수요 에 따라 체인 홈 페이지 찾기 (% s 차지 추가)

base_url = 'https://bj.lianjia.com/zufang/pg%srp1/'

데이터 베 이 스 를 연결 하 는 파일 을 예화 하고 sql 문 구 를 작성 합 니 다.

myhelper = mysqlhelper.MysqlHelper()

sql = 'INSERT INTO lianjiaxinxi (title, region, zone, meters, location, price) VALUES' \
      ' (%s, %s, %s, %s, %s, %s)'

순환 페이지 수, 여러 페이지 데이터 추출

for i in range(1,4):

                          
    url = base_url % i

    requests get           
    response = requests.get(url)
    
      etree HTML                 
    html_ele = etree.HTML(response.text)

xpath 를 사용 하여 포 지 셔 닝 에 필요 한 데 이 터 를 가 져 옵 니 다.

    li_list = html_ele.xpath('//ul[@id="house-lst"]/li')

    for li_ele in li_list:
        title = li_ele.xpath('./div[2]/h2/a')[0].text
        print(title)
        region = li_ele.xpath('./div[2]/div[1]/div[1]/a/span')[0].text
        print(region)
        # ./div[2]/div[1]/div[1]/span[1]/span
        zone = li_ele.xpath('./div[2]/div[1]/div[1]/span[1]/span')[0].text
        print(zone)
        meters = li_ele.xpath('./div[2]/div[1]/div[1]/span[2]')[0].text
        print(meters)
        location = li_ele.xpath('./div[2]/div[1]/div[1]/span[3]')[0].text
        print(location)
        price = li_ele.xpath('.//div[@class="price"]/span')[0].text
        print(price)

데 이 터 를 my sql 데이터베이스 에 저장 합 니 다.

        data = (title, region, zone, meters, location, price)
        myhelper.execute_modify_sql(sql, data)