브라우저에서 브라우저를 조작하여 스크래핑하기

다른 게시물은 여기
  • 웹 앱의 한계를 초과하는 방법
  • 웹 앱의 한계를 초과하는 방법 (보안)
  • 브라우저에서 (WebUSB도 ActiveX도 사용하지 않고) FeliCa 리더로드
  • 웹 브라우저에서 시리얼 통신하기

  • 타이틀을 읽고 「무슨 말을 했던 코이츠」라고 생각하신 분도 있을지도 모릅니다.
    간단히 말해, 브라우저에서 브라우저 (또는 WebBrowser 컨트롤)를 시작하여 스크래핑하는 방법을 소개합니다.

    개요




  • WebBrowser 컨트롤이 내장 된 네이티브 앱 만들기
  • 네이티브 앱에서 WebSocket 서버를 시작합니다
  • 브라우저에서 네이티브 앱의 WebSocket 서버에 로컬 호스트 연결
  • 네이티브 앱에서 스크래핑을 수행하고 WebSocket 서버를 통해 정보를 브라우저로 전송합니다.

  • 구성은, 전회 「 브라우저에서 (WebUSB도 ActiveX도 사용하지 않고) FeliCa 리더로드 」와 거의 같습니다.
    카드 리더 부분을 WebBrowser 컨트롤에 꽂습니다.

    데모





    브라우저에서 입력한 키워드를 바탕으로 구그 결과를 표시하고 있습니다.

    요약



    솔직히 브라우저에서 브라우저를 움직여서 무엇이 기뻐요? 라고 생각할 수 있습니다.
    확실히 이번과 같이, 단순한 용도로 스크래핑을 하고 싶을 뿐이라면, curl등을 사용해 취득한 캐릭터 라인을 해석하면 충분합니다만
  • API가 제공되지 않은 BtoB 사이트와 자사 사이트를 연결하고 싶습니다
  • 서버 측 부하 완화를 위해 클라이언트 측에서 스크래핑하고 싶습니다
  • 웹 기반에서 RPA를하고 싶습니다

  • 라고 하는 요구가 있는 경우, 이번 소개한 기술이 도움이 된다고 생각합니다.

    또한 이번에는 C# & WebBrowser 컨트롤을 사용했습니다.
    실제로는 Selenium에서도 헤드리스 브라우저에서도 자유롭게 구현할 수 있습니다.

    샘플 & 소스



    샘플 및 소스는 여기

    좋은 웹페이지 즐겨찾기