Python 데이터 파충류 에이전트 차단 IP 캡 처 방법

파충류:인터넷 정 보 를 자동 으로 캡 처 하 는 프로그램 입 니 다.인터넷 에서 우리 에 게 가치 있 는 정 보 를 캡 처 합 니 다.일반적으로 Python 파충류 프로그램 은(돼지 IP)에이전트 의 IP 주 소 를 사용 하여 프로그램 을 캡 처 하지만 기본 적 인 urlopen 은 대리 IP 를 사용 할 수 없습니다.Python 파충류 가 대리 IP 를 어떻게 사용 하 는 지 경험 을 공유 하 겠 습 니 다.(추천 돼지 에이전트 IP 등록 은 무료 로 사용 할 수 있 습 니 다.브 라 우 저 검색 은 찾 을 수 있 습 니 다)

1.중점 을 두 고 저 는 Python 3 을 사용 합 니 다.그래서 urllib 의 request 를 가 져 온 다음 에 프 록 시 Handler 를 호출 합 니 다.프 록 시 IP 의 인 자 를 받 을 수 있 습 니 다.대 리 는 자신의 수요 에 따라 선택 할 수 있 습 니 다.물론 무료 도 있 지만 가 용 률 은 상상 할 수 있 습 니 다.비 돼지 IP)

2.그 다음 에 IP 주 소 를 사전 형식 으로 넣 습 니 다.이 IP 주 소 는 제 가 낙서 한 것 이 고 예 를 들 어 사용 할 뿐 입 니 다.설정 키 는 http 입 니 다.물론 일 부 는 https 입 니 다.그 다음 에 IP 주소 와 포트 번호(9000)입 니 다.구체 적 으로 IP 주소 가 어떤 유형 인지 보 세 요.서로 다른 IP 포트 번 호 는 돼지 가 추출 한 포트 에 따라 다 를 수 있 습 니 다.

3、이어서 buildopener()는 opener 대상 을 구축 합 니 다.

4.그리고 구 축 된 opener 대상 의 open 방법 을 호출 하여 요청 합 니 다.실제로 urlopen 도 내부 에서 정 의 된 opener.open()을 이렇게 사용 하 는 것 과 같 습 니 다.여 기 는 우리 가 다시 쓰 는 것 과 같 습 니 다.

5.당연 하지.우리 가 인 스타 그램 을 사용한다 면opener()는 이전에 사용자 정의 opener 를 전역 으로 설정 할 수 있 습 니 다.

6.전역 으로 설정 한 후에 만약 에 우리 가 urlopen 을 사용 하여 요청 을 보 내 면 요청 에 사용 하 는 IP 주 소 는 이 컴퓨터 의 IP 주소 가 아니 라 대리 IP 입 니 다.

7.마지막 으로 프 록 시 를 사용 하 는 데 발생 한 오 류 를 말 하고 대상 컴퓨터 가 적극적으로 거절 하 는 것 을 알려 줍 니 다.이것 은 프 록 시 IP 가 잘못 되 었 거나 포트 번호 가 잘못 되 었 을 수도 있 습 니 다.이것 은 효과 적 인 IP 를 사용 해 야 합 니 다.(여 기 는 지금 막 작 성 된 IP 주소 입 니 다.

결론:이상 은 이번 Python 데이터 캡 처 파충류 대리 차단 IP 방법 에 관 한 것 입 니 다.여러분 의 읽 기와 저희 에 대한 지지 에 감 사 드 립 니 다.