Selenium을 사용한 자동 로그인, 데이터 수집

2665 단어 셀레늄Python3
파이썬에 의한 웹 스크래핑~입문편~【업무 효율화에의 첫걸음】의 6-8 공부 메모
htps //w w. 우데 my. 코 m / 이렇게 r세 / py 텐 - sc 라 핑 g - 베긴 r /

(기본 설정) Selenium에서 webdriver 가져 오기


from selenium import webdriver

Chrome을 열고 대상 URL 열기


browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

Selenium을 사용하여 자동 로그인 ~ Username / Password 자동 입력



양식 ID를 가져옵니다.



해당 페이지의 양식 부분의 ID를 개발 도구를 사용하여 취득


조사 결과



username의 id가, username, password의 id가 password인 것이 판명.

Username 자동 로그인 절차


#Browserで usernameという id elementをさがして、要素usernameにkey(hogehoge)というkeyを打ち込む

elem_username = browser.find_element_by_id('username')
elem_username.send_keys('hogehoge')


Password 자동 로그인 절차


##Browserで passwordという id elementをさがして、要素passwordにkey(hogehoge)というkeyを打ち込む
elem_password = browser.find_element_by_id('password')
elem_password.send_keys('hogehoge')

로그인 처리


#ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
#ボタンを押す処理
elem_login_btn.click()

여기까지 모두


browser = webdriver.Chrome()
browser.get('https://scraping-for-beginner.herokuapp.com/login_page')

# 要素を指定 browserで usernameという id elementをさがして
elem_username = browser.find_element_by_id('username')
#elem userにkey(~~~~)というkeyを打ち込んで
elem_username.send_keys('imanishi')

elem_password = browser.find_element_by_id('password')
elem_password.send_keys('kohei')

# ログイン処理
elem_login_btn = browser.find_element_by_id('login-btn')
# ボタンを押す処理
elem_login_btn.click()


데이터 수집


##hobbyというelementを探し、「elem.text」で取得内容を出力
elem = browser.find_element_by_id('hobby')
elem.text

결과에 다음과 같이 줄 바꿈이 포함되어 있으므로 줄 바꿈
'バスケットボール\n読書\nガジェット集め'

개행 삭제


#elem.textをhobbyという変数に格納し、replace関数を使用し改行を,に変更
hobby = elem.text
hobby.replace('\n',',')

결과
'バスケットボール,読書,ガジェット集め'

Browser 닫기


browser.quit()`

좋은 웹페이지 즐겨찾기