SeleniumGrid k8s의 데이터 전송 기반에 스크래핑 기능을 추가한 이야기 당사의 제품에서는 데이터 전송의 기반을 k8s(EKS)로 구축하고 있습니다. 데이터 전송은 k8s의 job 로 실시하고 있어 데이터 전송의 처리는 Embulk 를 사용하고 있습니다. 이번에는 데이터 전송에 스크래핑 기능을 추가했을 때의 이야기를 드리겠습니다. 기분으로서, 데이터 전송의 메인 컨테이너를 Selenium의 Driver를 실는 것으로 크게 하고 싶지 않다고 생각하고 있었습니다. 그... SeleniumGrid셀레늄Embulkkubernetes Selenium + groovy의 운영 환경을 만들고 싶었습니다 (재활) 결국 Eclipse를 설치했기 때문에 리벤지 마지막 기사 마지막 로그에서 FireFox가 시작되지 않았습니다. 이것은 화면을 보더라도 알 수 있습니다. 그래서 FireFox의 기동을 따로 가고 테스트 스크립트를 실행해 본다 브라우저의 실행은 SeleniumGrid에게 담당한다. SeleniumGrid의 실행은 허브와 노드로 나뉩니다. 이번에는 hub node 테스트 스크립트 실행기 모두 같은... SeleniumGrid셀레늄Groovy Selenium Grid 사용법 Arch Linux에서 설치 1) Hub 시작 브라우저에서 2) 첫 번째 Node 시작 브라우저에서 3) 두 번째 Node 시작 브라우저에서 테스트 스크립트 Python3에서 FireFox를 사용합니다. grid_follow_link.py... 운영SeleniumGridPython3
k8s의 데이터 전송 기반에 스크래핑 기능을 추가한 이야기 당사의 제품에서는 데이터 전송의 기반을 k8s(EKS)로 구축하고 있습니다. 데이터 전송은 k8s의 job 로 실시하고 있어 데이터 전송의 처리는 Embulk 를 사용하고 있습니다. 이번에는 데이터 전송에 스크래핑 기능을 추가했을 때의 이야기를 드리겠습니다. 기분으로서, 데이터 전송의 메인 컨테이너를 Selenium의 Driver를 실는 것으로 크게 하고 싶지 않다고 생각하고 있었습니다. 그... SeleniumGrid셀레늄Embulkkubernetes Selenium + groovy의 운영 환경을 만들고 싶었습니다 (재활) 결국 Eclipse를 설치했기 때문에 리벤지 마지막 기사 마지막 로그에서 FireFox가 시작되지 않았습니다. 이것은 화면을 보더라도 알 수 있습니다. 그래서 FireFox의 기동을 따로 가고 테스트 스크립트를 실행해 본다 브라우저의 실행은 SeleniumGrid에게 담당한다. SeleniumGrid의 실행은 허브와 노드로 나뉩니다. 이번에는 hub node 테스트 스크립트 실행기 모두 같은... SeleniumGrid셀레늄Groovy Selenium Grid 사용법 Arch Linux에서 설치 1) Hub 시작 브라우저에서 2) 첫 번째 Node 시작 브라우저에서 3) 두 번째 Node 시작 브라우저에서 테스트 스크립트 Python3에서 FireFox를 사용합니다. grid_follow_link.py... 운영SeleniumGridPython3