파이썬에 의한 웹 스크래핑~입문편~【업무 효율화에의 첫걸음】의 6-8 공부 메모
htps //w w. 우데 my. 코 m / 이렇게 r세 / py 텐 - sc 라 핑 g - 베긴 r /

(기본 설정) Selenium에서 webdriver 가져 오기

from selenium import webdriver

Chrome을 열고 대상 URL 열기

browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

Selenium을 사용하여 자동 로그인 ~ Username / Password 자동 입력

양식 ID를 가져옵니다.

해당 페이지의 양식 부분의 ID를 개발 도구를 사용하여 취득

조사 결과

username의 id가, username, password의 id가 password인 것이 판명.

Username 자동 로그인 절차

#Browserで　usernameという　id elementをさがして、要素usernameにkey(hogehoge)というkeyを打ち込む

elem_username = browser.find_element_by_id('username')
elem_username.send_keys('hogehoge')

Password 자동 로그인 절차

##Browserで　passwordという　id elementをさがして、要素passwordにkey(hogehoge)というkeyを打ち込む
elem_password = browser.find_element_by_id('password')
elem_password.send_keys('hogehoge')

로그인 처리

#ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
#ボタンを押す処理
elem_login_btn.click()

여기까지 모두

browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

# 要素を指定 browserで　usernameという　id elementをさがして
elem_username = browser.find_element_by_id('username')
#elem userにkey(~~~~)というkeyを打ち込んで
elem_username.send_keys('imanishi')

elem_password = browser.find_element_by_id('password')
elem_password.send_keys('kohei')

# ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
# ボタンを押す処理
elem_login_btn.click()

데이터 수집

##hobbyというelementを探し、「elem.text」で取得内容を出力
elem = browser.find_element_by_id('hobby')
elem.text

결과에 다음과 같이 줄 바꿈이 포함되어 있으므로 줄 바꿈

'バスケットボール\n読書\nガジェット集め'

개행 삭제

#elem.textをhobbyという変数に格納し、replace関数を使用し改行を,に変更
hobby = elem.text
hobby.replace('\n',',')

결과

'バスケットボール,読書,ガジェット集め'

Browser 닫기

browser.quit()`