Python 파충류 동적 ip 대리 차단 방지 방법

1467 단어 Python동적 ip차압
기어 오 르 는 과정 에서 ip 이 봉쇄 되 고 403 오류 가 발생 하 는 것 을 피하 기 어렵 습 니 다.이것 은 모두 사이트 에서 당신 이 파충류 라 는 것 을 검출 하여 반 기어 오 르 는 조 치 를 취 하 는 것 입 니 다.여기 서 IP 대리 로 어떻게 봉쇄 되 는 것 을 방지 하 는 지 정리 해 드 리 겠 습 니 다.
우선,대기 시간 설정:
흔히 볼 수 있 는 설정 대기 시간 은 두 가지 가 있 는데 하 나 는 외 현적 대기 시간(강제 정지 몇 초)이 고 하 나 는 내 현적 대기 시간(구체 적 인 상황 을 보면 요소 로드 완료 에 따라 시간 이 필요 하 다)그림 1 은 외 현적 대기 시간 설정 이 며 그림 2 는 내 현적 이다.


두 번 째 단계,요청 헤더 수정:
로봇 인지 인간 브 라 우 저 인지 식별 하 는 중요 한 근 거 는 바로 User-agent 이다.예 를 들 어 인간 이 브 라 우 저 로 탐색 하면 이런 모양 의 User-agent:'Mozilla/5.0(Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'

세 번 째 단 계 는 대리 ip/대리 ip 풀 을 사용 합 니 다.
코드 를 직접 보다.동적 ip 대 리 를 이용 하여 파충류 가 봉쇄 되 지 않 고 정상적으로 운행 할 수 있 도록 강력하게 보장 할 수 있다.그림 1 은 프 록 시 ip 을 사용 하 는 경우 그림 2 는 ip 프 록 시 풀 을 만 드 는 코드 로 자신의 수 요 를 볼 필요 가 없 으 며 대형 프로젝트 는 반드시 대량의 ip 을 사용 해 야 한다.


위의 세 가지 절 차 를 잘 밟 으 면 대충 파충류 의 운행 은 문제 가 되 지 않 는 다.위의 세 가지 절 차 를 잘 밟 으 면 대충 파충류 의 운행 은 문제 가 되 지 않 는 다.
이상 은 이번 소개 의 모든 내용 입 니 다.여러분 의 학습 과 저희 에 대한 지지 에 감 사 드 립 니 다.

좋은 웹페이지 즐겨찾기