python 다 중 스 레 드 서쪽 가시 에이전트 의 예제 코드

서 자 대 리 는 국내 IP 대리 입 니 다.대리 가 망 했 기 때문에 저 는 원래 의 코드 를 풀 어 여러분 께 배 울 수 있 도록 하 겠 습 니 다.
미 러 주소:https://www.blib.cn/url/xcdl.html
먼저 모든 tr 탭 을 찾 고 class="odd"탭 과 추출 합 니 다.

그 다음 에 tr 태그 에 있 는 모든 td 라벨 을 차례대로 찾 은 다음 에 안에 있 는[1,2,5,9]이 네 개의 태그 의 위치 만 추출 하고 다른 것 은 추출 하지 않 습 니 다.

마지막 으로 단일 페이지 를 추출 하 는 코드 를 써 서 파일 에 저장 할 수 있 습 니 다.

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

if __name__ == "__main__":
  ip_list=[]
  fp = open("SpiderAddr.json","a+",encoding="utf-8")
  url = "https://www.blib.cn/url/xcdl.html"
  request = requests.get(url=url,headers=head)
  soup = BeautifulSoup(request.content,"lxml")
  data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
  for item in data:
    soup_proxy = BeautifulSoup(str(item),"lxml")
    proxy_list = soup_proxy.find_all(name="td")
    for i in [1,2,5,9]:
      ip_list.append(proxy_list[i].string)
    print("[+]     : {}    ".format(ip_list))
    fp.write(str(ip_list) + '
')
    ip_list.clear()

기어 오 르 면 파일 을 SpiderAddr.json 형식 으로 저장 합 니 다.

마지막 으로 다른 코드 를 사용 하여 SSR 프 록 시 도구 가 직접 식별 할 수 있 는 형식 으로 변환 합 니 다.{'http':'http://119.101.112.31:9999'}

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

if __name__ == "__main__":
  result = []
  fp = open("SpiderAddr.json","r")
  data = fp.readlines()

  for item in data:
    dic = {}
    read_line = eval(item.replace("
",""))
    Protocol = read_line[2].lower()
    if Protocol == "http":
      dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
    else:
      dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
    result.append(dic)
    print(result)

전체 다 중 스 레 드 코드 는 다음 과 같다.

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

class AgentSpider(threading.Thread):
  def __init__(self,queue):
    threading.Thread.__init__(self)
    self._queue = queue

  def run(self):
    ip_list=[]
    fp = open("SpiderAddr.json","a+",encoding="utf-8")
    while not self._queue.empty():
      url = self._queue.get()
      try:
        request = requests.get(url=url,headers=head)
        soup = BeautifulSoup(request.content,"lxml")
        data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
        for item in data:
          soup_proxy = BeautifulSoup(str(item),"lxml")
          proxy_list = soup_proxy.find_all(name="td")
          for i in [1,2,5,9]:
            ip_list.append(proxy_list[i].string)
          print("[+]     : {}    ".format(ip_list))
          fp.write(str(ip_list) + '
')
          ip_list.clear()
      except Exception:
        pass

def StartThread(count):
  queue = Queue()
  threads = []
  for item in range(1,int(count)+1):
    url = "https://www.xicidaili.com/nn/{}".format(item)
    queue.put(url)
    print("[+]        {}".format(url))

  for item in range(count):
    threads.append(AgentSpider(queue))
  for t in threads:
    t.start()
  for t in threads:
    t.join()

#     
def ConversionAgentIP(FileName):
  result = []
  fp = open(FileName,"r")
  data = fp.readlines()

  for item in data:
    dic = {}
    read_line = eval(item.replace("
",""))
    Protocol = read_line[2].lower()
    if Protocol == "http":
      dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
    else:
      dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
    result.append(dic)
  return result

if __name__ == "__main__":
  parser = argparse.ArgumentParser()
  parser.add_argument("-p","--page",dest="page",help="       ")
  parser.add_argument("-f","--file",dest="file",help="               SpiderAddr.json")
  args = parser.parse_args()
  if args.page:
    StartThread(int(args.page))
  elif args.file:
    dic = ConversionAgentIP(args.file)
    for item in dic:
      print(item)
  else:
    parser.print_help()

이상 은 python 다 중 스 레 드 가 서 자 대리 의 예제 코드 를 기어 오 르 는 상세 한 내용 입 니 다.python 다 중 스 레 드 기어 오 르 는 대리 에 관 한 자 료 는 다른 관련 글 을 주목 하 십시오!