🐍Pyppeteer 데모

Pypeter를 사용하는 이유는 무엇입니까?

입력 형식의 조작을 확인하기 위해 자동 입력을 시도

조사 결과Python 사용Selenium의 기사가 대량으로 팔렸고, 그 중에서도 사용Pyppeteer된 Qita 보도

가 있었다.

다른 Pyppetter에 관한 Qita 문장 몇 권을 읽고 사용하기로 결정

Pyppetter 이식Puppeteer（Javascript）이었기 때문에 Puppeteer의 문장 몇 편을 확인했다

참고 자료

파이썬 스크레이퍼 - 셀레니움은 시대에 뒤떨어졌다!?/ / Pyppeteer 사용법 - Qita

다양한 언어로 마이그레이션된 Pupeteer의 라이브러리 요약 - Qita

설치하다.

pip3 install

$ pip3 install pyppeteer

가져오기

모듈 가져오기

import asyncio
from pyppeteer import launch

사전 준비

양식 입력 확인

이 글에서 다음과 같은 요소의 입력 항목을 가정하고 계속 토론

기사에 기재된 HTML의 출처와 실제 사용에 약간의 변화가 있다.움직일 수 없는 부분도 있겠지만 이렇게 쓰면 움직일 거고 상대방에게 전달할 수 있다면😓

이름テキストボックス

가명テキストボックス

이메일 주소テキストボックス

년대ドロップダウンリスト

이 이벤트를 어디서 아세요?【여러 개 선택 가능】チェックボックス

수동 입력 확인 컨덕터

입력 화면 -> 전송

입력 내용 확인 -> 확인

완성화면 보내기

자동 입력 순서 정리하기

브라우저 시작

입력 형식 열기

입력 형식의 내용

입력 내용 확인 화면으로 포맷 이동

확인 화면 캡처 저장

발송 내용

양식 입력 준비

이번 입력 형식은 메일 주소를 이용한 중복 로그인 확인 기능

이 있습니다.

faker 패키지를 사용하여 그 스타일의 메일 주소를 자동으로 생성

별도로 자동으로 다른 내용(이름 등)

생성
데이터를 준비하는 방법은 [부가]로 설명한다

함수 만드는 법

pyppeteer에서 수행되는 모든 웹 작업은 비동기식

함수를 만들 때async def 関数名(...)

함수를 호출할 때await 関数名(...)

추가하는 것을 잊어버리거나async 또는 await 실행하면 욕을 먹기 때문에 수정할 수 있습니다

브라우저 시작

먼저 브라우저 시작

headless Chrome 시동이 걸린 것 같은데

처음 시작할 때 다운로드한

브라우저 화면이 표시되지 않음

브라우저 숨기기(headless 모드)

browser = await launch()

브라우저 화면이 표시된 상태에서 지정headless=False

처음 사람에게 동작을 확인하면서 디버깅을 할 때 많은 배려를 받았다

브라우저 표시

browser = await launch(headless=False)

페이지 액세스

코드에 적힌 대로

새 페이지(레이블?)URL을 열고 입력하는 작업

태그 입력 URL 열기

page = await browser.newPage()
await page.goto(url)

입력 텍스트 상자

セレクタ 및 入力する値를 지정하면 OK

기본형

await page.type('セレクタ', '入力する値')

페이지 원본을 확인함으로써 어떤 선택기를 사용하는지 확인

입력 창 (텍스트 상자)

<input type="text" name="name_last" id="name_last" value="">
<input type="text" name="name_first" id="name_first" value="">
<input type="text" name="kana_last" id="kana_last" value="">
<input type="text" name="kana_first" id="kana_first" value="">
<input type="text" name="mail" id="mail" value="">
<input type="text" name="mail_re" id="mail_re" value="">

이 경우 id 속성을 사용하여 지정하는 것은 매우 간단할 것 같다

input[name="name"]도 OK(아마)

자동 입력 (텍스트 상자)

await page.type('#name_last', '竈門')
await page.type('#name_first', '炭治郎')
await page.type('#kana_last', 'かまど')
await page.type('#kana_first', 'たんじろう')
await page.type('#mail', '[email protected]')
await page.type('#mail_re', '[email protected]')

드롭다운 메뉴에서 선택

텍스트 상자와 같은 방식으로 セレクタ 및 選択する値를 지정하면 OK

기본형

await page.select('セレクタ', '選択する値')

페이지 원본을 확인함으로써 어느 것을 사용했는지 판단セレクタ

選択する値 확인value에 설정된 값

입력 형식(연대)

<select id="age" name="age">
    <option value="" selected="selected">選択してください</option>
    <option value="1">10代</option>
    <option value="2">20代</option>
    <option value="3">30代</option>
</select>

이 경우에도 속성id을 사용하여 지정

입력 테스트(연대)

await page.select('#age', '1')

랜덤으로 입력하고 싶을 때

입력 테스트(랜덤 입력 연대)

import random
await page.select('#age', str(random.randint(1, 3)))

확인란을 선택합니다.

선택기만 지정하면 OK

await page.click('セレクタ')

페이지 원본을 확인함으로써 어느 것을 사용했는지 판단セレクタ

<input type="checkbox" name="web" id="web" value="1">
<label for="web">ウェブサイト</label>
<br>
<input type="checkbox" name="tw" id="tw" value="2">
<label for="tw">Twitter</label>
<br>
<input type="checkbox" name="fb" id="fb" value="3">
<label for="fb">Facebook</label>
<br>
<input type="checkbox" name="mz" id="mz" value="4">
<label for="magazine">メールマガジン</label>

이 경우에도 속성id을 사용하여 지정

여러 옵션

await page.click('#web')
await page.click('#fb')

입력 창 보내기

page.click를 사용하면 됩니다

.
입력 창 (보내기 창)

<input type="submit" name="__send" id="__send" value="次へ →">

name 속성 지정 사용

이번에는 목적지를 옮긴 페이지의 캡처를 기록으로 저장하고 싶다

페이지 전환 종료 대기 page.waitForNavigation()

비동기 처리 대기

await asyncio.wait([
    page.click('input[name="__send"]'),
    page.waitForNavigation(),
])

캡처 저장

오류가 발생했을 때 확인할 수 있도록 캡처를 저장합니다

브라우저가 열릴 때만 표시되는 섹션만 저장

모두 저장된 상태에서 page.setViewport로 화면 크기 설정

await page.setViewport({'width': 800, 'height': 1000})
await page.screenshot(path='ss/screenshot.png', fullPage=True)

입력 테스트 수행

디버깅 과정에서 샘플 중의 상태를 유지할 수 있음

견본과 같이

if __name__ == "__main__":
    asyncio.get_event_loop().run_until_complete(main())

여러 번 입력하면 루프가 생성됩니다

.

if __name__ == "__main__":
    N = 5  ## <== ここの値を直接書き換えて、様子をみながらテスト
    for i in range(N):
        print('=' * 30)
        print(f'TEST [{i+1:3d}/{N:3d}]')
        asyncio.get_event_loop().run_until_complete(main())
        time.sleep(random.randint(1, 30))  ## <== 攻撃してるわけじゃないよという気持ちの表れ

실패한 이야기로서 스크립트를 쓰면서 디버깅을 할 때 방문 페이지가 차단되었다.할 때는 관계자에게 미리 확인하고 알려주는 것이 좋다.

경품: 테스트용 데이터 생성

테스트용 데이터 준비 필요

이번에 faker,pykakasi,random포장을 사용하여 가짜로 데이터를 만들었다

설치 모듈

$ pip3 install faker
$ pip3 install pykakasi

숫자 생성

이번 입력 형식은 연대의 입력 부분

이다.

input의 value 범위 내에서 무작위 생성 정수

무작위로 1~5의 정수치 생성

import random

random.randint(1, 5)

생성 이름

faker.Faker 일본어 모드ja_JP로 객체 만들기

성씨last_name와 이름first_name

성과 이름을 무작위로 생성

from faker import Faker

fakejp = Faker('ja_JP')
name_last = fakejp.last_name()
name_first = fakejp.first_name()

await page.type('#name_last', name_last)
await page.type('#name_first', name_first)

주음가명을 만들다

문제점

faker에서 생성된 로켓포는 가명이다

에서 생성된 명칭과 무관하게 생성

해결책

사용pykakasi 위에서 생성된 이름을 평가명으로 변환

한자→가명으로 변환

import pykakasi

kks = pykakasi.kakasi()
kana_last = kks.convert(name_last)[0]['hira']
kana_first = kks.convert(name_first)[0]['hira']

await page.type('#kana_last', kana_last)
await page.type('#kana_first', kana_first)