Python 3 파충류 중 Ajax 분석 방법 에 대한 정리

여기 앞 에 있 는 웨 이 보 를 예 로 들 면 새로 고침 을 드래그 하 는 내용 을 Ajax 에서 불 러 오고 페이지 의 URL 이 변 하지 않 았 다 는 것 을 알 고 있 습 니 다.그러면 이 Ajax 요청 을 어디서 확인 해 야 합 니까?
1.요청 보기
여기 에는 브 라 우 저의 개발 자 도 구 를 빌려 크롬 브 라 우 저 를 예 로 들 어 소개 해 야 한다.
우선 크롬 브 라 우 저 로 웨 이 보 링크 를 엽 니 다.https://m.weibo.cn/u/2830678474다음 페이지 에서 마우스 오른쪽 단 추 를 누 르 고 팝 업 단축 메뉴 에서'검사'옵션 을 선택 하면 개발 자 도구 가 팝 업 됩 니 다.그림 6-2 참조:

이때 Elements 옵션 에서 웹 페이지 의 소스 코드 를 관찰 할 수 있 고 오른쪽 은 노드 의 스타일 입 니 다.
하지만 이것 은 우리 가 찾 고 싶 은 내용 이 아니다.Network 옵션 으로 전환 한 다음 페이지 를 다시 새로 고침 하면 그림 6-3 참조.

앞에서 도 언급 했 듯 이 페이지 로 딩 과정 에서 브 라 우 저 와 서버 간 에 요청 과 응답 을 보 내 는 모든 기록 입 니 다.
Ajax 는 사실 xhr 라 고 부 르 는 특별한 요청 유형 이 있 습 니 다.그림 6-3 에서 getIndex 로 시작 하 는 요청 을 발견 할 수 있 습 니 다.Type 은 xhr 입 니 다.이것 이 바로 Ajax 요청 입 니 다.이 요청 을 마우스 로 클릭 하면 이 요청 의 상세 한 정 보 를 볼 수 있 습 니 다.그림 6-4 참조.

오른쪽 에서 Request Headers,URL,Response Headers 등 정 보 를 관찰 할 수 있 습 니 다.이 중 Request Headers 에 X-Requested-With:XML HttpRequest 라 는 메시지 가 있 습 니 다.그림 6-5 참조.

이 어 프 리 뷰 를 클릭 하면 응답 내용 을 볼 수 있 습 니 다.JSON 형식 입 니 다.여기 서 크롬 은 자동 으로 분석 을 해 주 었 습 니 다.화살 표를 누 르 면 해당 내용 을 펼 치고 접 을 수 있 습 니 다.그림 6-6 참조.

관찰 해 보면 이곳 의 반환 결 과 는 제 개인 정보 입 니 다.예 를 들 어 닉네임,프로필,프로필 등 도 개인 홈 페이지 에 사용 되 는 데 이 터 를 과장 하 는 데 사 용 됩 니 다.JavaScript 가 이 데 이 터 를 받 은 후에 해당 하 는 렌 더 링 방법 을 실행 하면 전체 페이지 가 렌 더 링 됩 니 다.
또한 Response 옵션 으로 전환 하여 그림 6-7 참조.

다음은 첫 번 째 요청 으로 돌아 가 Response 가 무엇 인지 살 펴 보 겠 습 니 다.그림 6-8 참조.

이것 은 가장 원시 적 인 링크 이다.https://m.weibo.cn/u/2830678474돌아 온 결과 코드 는 50 줄 도 안 되 고 구조 도 간단 하 며 자바 스 크 립 트 만 실 행 했 습 니 다.
그 러 니까 우리 가 본 웨 이 보 페이지 의 실제 데 이 터 는 가장 원시 적 인 페이지 에서 돌아 온 것 이 아니 라 나중에 자 바스 크 립 트 를 실행 한 후에 다시 배경 에 Ajax 요청 을 보 냈 고 브 라 우 저 는 데 이 터 를 받 은 후에 더욱 과장 되 었 다.
2.필터 요청
다음은 Chrome 개발 자 도구 의 선별 기능 을 이용 하여 모든 Ajax 요청 을 선별 합 니 다.요청 한 위 에 선별 표시 줄 이 있 습 니 다.XHR 를 직접 클릭 하면 아래 에 표 시 된 모든 요청 은 Ajax 요청 입 니 다.그림 6-9 참조.

그 다음 에 페이지 를 계속 미 끄 러 뜨리 면 페이지 밑 에 새로운 웨 이 보가 나 오 는 것 을 볼 수 있 고 개발 자 도구 아래 에 도 Ajax 요청 이 하나씩 나타 나 면 우 리 는 모든 Ajax 요청 을 포착 할 수 있 습 니 다.
항목 을 마음대로 누 르 면 Request URL,Request Headers,Response Headers,Response Body 등 내용 을 똑똑히 볼 수 있 습 니 다.이 때 요청 과 추출 을 모 의 하려 면 매우 간단 합 니 다.
그림 6-10 에서 보 여 준 내용 은 바로 나의 한 페이지 의 웨 이 보 목록 정보 이다.

지금까지 우 리 는 Ajax 가 요청 한 상세 한 정 보 를 분석 할 수 있 었 다.그 다음 에 프로그램 으로 이 Ajax 요청 을 모 의 하면 우리 가 필요 로 하 는 정 보 를 쉽게 추출 할 수 있다.
다음 절 에서 저 희 는 Python 으로 Ajax 가 요청 한 시 뮬 레이 션 을 실현 하여 데이터 캡 처 를 실현 합 니 다.
이상 은 Python 3 파충류 에서 Ajax 분석 방법 에 대한 상세 한 내용 입 니 다.Python 3 파충류 에서 Ajax 분석 방법 에 관 한 자 료 는 다른 관련 글 을 주목 하 세 요!