인사말

익명 IP를 회전시켜 액세스 제한에 신경 쓰지 않고 Gashigashi Scraping 방법을 소개합니다.

이번에는 Ruby + Nokogiri로 끝나는 간단한 것들을 소개합니다.

악용은 좋지 않다

htp // p 여과 xy sh. 코m/

htp // p 여과 xy sh. 코m/ 우선 여기에서 회원 등록.

무료 버전도 있기 때문에 끝내면 괜찮을 것입니다.

여기에 등록한 username ①과 password ②는 나중에 사용하므로 삼가한다.



대시 보드에 표시된 인증 된 프록시의 호스트 3 및 포트 4를 삼가하십시오.

노코기리의 고고

#open 의 proxy_http_basic_authentication 옵션을 사용하면

require "open-uri"
class OpenWithProxy
  def initialize(proxy_host, proxy_port, username, pass)
    @proxy_uri = URI.parse("#{proxy_host}:#{proxy_port}")
    @username  = username
    @pass      = pass
  end

  def open(url)
    Kernel.open(url, proxy_http_basic_authentication: [@proxy_uri, @username, @pass])
  end
end

owp = OpenWithProxy.new('③で控えたやつ', '④で控えたやつ', '①で控えたやつ', '②で控えたやつ')
# こんな感じ. owp = OpenWithProxy.new('http://us.proxymesh.com', '31280', 'username', 'password')

제대로 프록시를 씹는지 확인

사용하면 IP를 볼 수 있습니다.

require 'json'
check_ip = -> { JSON.parse(owp.open('http://api.ipify.org?format=json').read)['ip'] }

check_ip.call
#=> "166.78.113.337"

check_ip.call
#=> "166.28.153.347"

check_ip.call
#=> "192.237.163.323"

...

오, 10 개의 IP 중에서 매번 무작위로 선택되는 것 같습니다.

노코기리에게 건네주고 가시가시

require 'nokogiri'

doc = Nokogiri::HTML owp.open('https://www.google.com')

doc.title
#=> "Google"

좋아!