Python Web Crawling _ CSV로 데이터 저장하기 [1]

1. 기본 세팅

우선 Chromedriver을 사용할 때 크롬 브라우저 화면을 띄우지 않기 위해 Headless Chrome을 사용해 주었습니다.

그리고 DataFrame을 만들고 csv 형태의 파일로 저장하는데 유용한 Pandas를 설치하겠습니다.

lxml도 다운받아 줍니다!

2. 페이지 분석하기

저의 크롤링 타겟은 포우 입니다.

전적을 검색했을때 나오는 통계 표를 csv 형태로 저장해보려 합니다.

개발자 모드를 켜서 검사를 해 보면 위와 같이 나옵니다.

3. 코드 작성

사용할 라이브러리 import 하기

import selenium
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common import keys
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait

import time                 # sleep
import pandas as pd         # csv
import base64               # encoder

# Global Variable --> chromedriver
driver = webdriver.Chrome(executable_path='C:\chromedriver.exe')

위에 설치한 pandas와 sleep을 사용하기 위한 time , encoder을 위한 base64까지 import 해 주었습니다.

타겟 지정

def run(nickname):
    
    # target variables
    target_url = 'https://fow.kr/'
    search_box_xpath = '/html/body/div[1]/div[1]/form/div/input[2]'
    search_btn_xpath = '/html/body/div[1]/div[1]/form/div/input[3]'
    season12_table = '/html/body/div[5]/div[1]/div[1]/div[8]/table'

• target_url = 'https://fow.kr/' 타겟 url인 fow URL을 넣어줍니다.

• search_box_xpath = '/html/body/div[1]/div[1]/form/div/input[2]
  닉네임을 검색할 란의 xpath를 가져옵니다.

• search_btn_xpath = '/html/body/div[1]/div[1]/form/div/input[3]'검색버튼의 xpath 입니다.

• season12_table = '/html/body/div[5]/div[1]/div[1]/div[8]/table
  크롤링해올 데이터를 갖고있는 테이블 xpath 입니다.

크롬드라이버와 셀레니움을 이용한 크롤러

 # chromedriver on
    driver.get(url=target_url)

    # id search
    explict_id(search_box_xpath, 3)
    xpath_send_key(search_box_xpath, str(nickname))
    xpath_click(search_btn_xpath)
    
    # table download
    explict_id(season12_table, 3)
    table_to_csv(season12_table, 's12')

• driver.get(url=target_url) 크롬드라이버에서 타켓 url을 받아와 실행시켜 줍니다.

• id search 코드

  explict_id(search_box_xpath, 3) 아래 선언 되어 있는 explict_id 함수를 실행합니다.
  xpath_send_key(search_box_xpath, str(nickname))
  마찬가지로 xpath_send_key 함수를 실행합니다.
  xpath_click(search_btn_xpath)
  xpath_click 함수를 실행하고, 위에 선언해 둔 search_btn_xpath. 즉, 검색버튼이 클릭됩니다.

• table download 코드

  explict_id(season12_table, 3) explict_id 함수 실행
  table_to_csv(season12_table, 's12') table_to_csv 실행

함수

• explict_id 함수

def explict_id(element_id, time):
    WebDriverWait(driver, int(time)).until(
        EC.presence_of_element_located( (By.XPATH, str(element_id) ) )
    )

WebDriverWait(driver, int(time))

WebDriverWait을 사용해 driver를 최대 time초 동안 기다린다.
[time초를 넘기게 되면 NoSuchElementException, ElementNotVisibleException과 같은 에러가 발생.]

.until(EC.presence_of_element_located((By.XPATH, srt(element_id)))

XPATH가 element_id 인 엘리먼트가 나올 때 까지

explict_id(search_box_xpath, 3)

search_box_xpath인 엘리먼트가 나올때까지 최대 3초동안 기다립니다.

• xpath_send_key 함수

def xpath_send_key(xpath, key):
    driver.find_element_by_xpath(xpath).send_keys(key)
    time.sleep(0.15)

driver.find_element_by_xpath(xpath).send_keys(key)
타겟페이지에서 xpath를 이용해 원하는 key에 해당하는 값을 가져온다

time.sleep(0.15)
0.15초 동안 대기

xpath_send_key(search_box_xpath, str(nickname))

html에서 xpath를 이용해 nickname에 해당하는 값을 가져온 후 0.15초 동안 대기

• table_to_csv 함수

def table_to_csv(xpath, filename):
    df = pd.read_html(driver.find_element_by_xpath(xpath).get_attribute('outerHTML'))[0]
    df.to_csv('{}.csv'.format(filename))

pd.read_html pandas의 read_html을 이용하여 html에 있는 table속성에 해당하는 값을 가져옵니다.

get_attribute('outerHTML') outerHTML에 해당하는 속성 값을 추출합니다.

df.to_csv('{}.csv'.format(filename)) df의 값을 csv파일로 저장합니다.

table_to_csv(season12_table, 's12')

season12_table의 outerHTML에 해당하는 속성값의 table을 가져와 csv 파일로 저장하고, 파일 이름은 s12 입니다.
season12_table 크롤링해올 테이블의 xpath

file name function

def convert_base64(nickname):
    #preprocessing
    pre_nickname = nickname.replace(" ", "")
    ascii_nickname = pre_nickname.encode('ascii')
    return base64.b64encode(ascii_nickname)

base64를 이용하여 nickname을 ASCII 값으로 변경시켜주고,
공백이 들어가도 인식하게 인코딩 해주는 함수 입니다.

if __name__ == "__main__":
    run('아먼찐다같은게')

run('') 에서 입력받는 닉네임으로
def run(nickname): 함수를 실행시켜줍니다.

전체 코드

def run(nickname):
    
    # target variables
    target_url = 'https://fow.kr/'
    search_box_xpath = '/html/body/div[1]/div[1]/form/div/input[2]'
    search_btn_xpath = '/html/body/div[1]/div[1]/form/div/input[3]'
    season12_table = '/html/body/div[5]/div[1]/div[1]/div[8]/table'

    # chromedriver on
    driver.get(url=target_url)

    # id search
    explict_id(search_box_xpath, 3)
    xpath_send_key(search_box_xpath, str(nickname))
    xpath_click(search_btn_xpath)
    
    # table download
    explict_id(season12_table, 3)
    table_to_csv(season12_table, 's12')

# Crawler Function

def explict_id(element_id, time):
    WebDriverWait(driver, int(time)).until(
        EC.presence_of_element_located( (By.XPATH, str(element_id) ) )
    )
    
def xpath_send_key(xpath, key):
    driver.find_element_by_xpath(xpath).send_keys(key)
    time.sleep(0.15)

def table_to_csv(xpath, filename):
    df = pd.read_html(driver.find_element_by_xpath(xpath).get_attribute('outerHTML'))[0]
    df.to_csv('{}.csv'.format(filename))
    
# file name function
def convert_base64(nickname):
    #preprocessing
    pre_nickname = nickname.replace(" ", "")
    ascii_nickname = pre_nickname.encode('ascii')
    return base64.b64encode(ascii_nickname)

if __name__ == "__main__":
    # target_nickname = input('사용자 ID >')
    run('아먼찐다같은게')  

4. 실행 결과

위 코드를 실행시켜 줍니다!

무사히 s12.csv 파일이 다운로드된 모습입니다.

타겟이 csv 파일로 저장된 모습입니다.