파충류 개념,도구,HTTP

2743 단어 파충 노트
본문 영구 링크:https://tnanko.github.io/posts/8aff4f2e.html
[디 렉 터 리]
파충류
  • 2.파충류 데이터 가 어디 갔 지?
  • 3.필요 한 소프트웨어 와 환경
  • python3
  • PyCharm
  • chrome 브 라 우 저
  • 4.브 라 우 저의 요청
  • url
  • 브 라 우 저 요청 url 주소
  • 파충류 요청 url 주소

  • HTTP,HTTPS 알 아 보기
  • HTTP:하이퍼텍스트 전송 프로 토 콜
  • HTTPS:HTTP+SSL(보안 소켓)
  • get 요청 과 post 요청 의 차이
  • HTTP 프로 토 콜 요청
  • HTTP 프로 토 콜 의 응답

  • 1.파충류 란 무엇 인가
  • 파충 류 는 ( ) 으로 응답 을 얻 고 규칙 에 따라 데 이 터 를 추출 하 는 프로그램 이다.
  • ( ) :브 라 우 저 에 따라 똑 같은 요청 을 보 내 고 브 라 우 저 와 똑 같은 데 이 터 를 가 져 옵 니 다.

  • 2.파충류 데이터 어디 갔 어
  • 은 웹 페이지 에 전시 하거나 app 에 전시 합 니 다.
  • 분석:데이터 에서 규칙 을 찾 습 니 다.

  • 3.필요 한 소프트웨어 와 환경
    python3
  • 기초 문법(문자열,목록,사전,판단 과 순환)
  • 함수(함수 의 생 성과 호출)
  • 대상 지향(클래스 를 만 드 는 방법,클래스 를 어떻게 사용 하 는 지)
  • PyCharm
  • python 컴 파일 러
  • 크롬 브 라 우 저
  • 분석 네트워크 요청 용
  • 4.브 라 우 저의 요청
    url
  • chrome 에서 검 사 를 클릭 하여 network 를 누 르 십시오.
  • url=요청 한 프로 토 콜+사이트 의 도 메 인 이름+자원 의 경로+매개 변수.

  • 브 라 우 저 요청 URL 주소
  • 현재 url 에 대응 하 는 응답+js+css+그림→elements 가 중 단 된 내용 입 니 다.

  • 파충류 요청 url 주소
  • 현재 url 에 대응 하 는 응답 입 니 다.
  • elements 의 내용 은 파충류 가 얻 은 url 주소 의 응답 과 달리 파충류 에 서 는 현재 url 주소 에 대응 하 는 응답 을 기준 으로 데 이 터 를 추출 해 야 합 니 다.
  • 현재 url 주소 에 대응 하 는 응답 은 어디 에 있 습 니까?
  • network 에서 현재 url 주 소 를 찾 고 response 를 클릭 합 니 다.
  • 페이지 에서 오른쪽 단 추 를 누 르 면 웹 페이지 를 표시 합 니 다.


  • 5.HTTP,HTTPS 알 기
    HTTP:하이퍼텍스트 전송 프로 토 콜
  • 명문 으로 전송;
  • 효율 은 높 지만 안전 하지 않 습 니 다.

  • HTTPS:HTTP+SSL(보안 소켓)
  • 전송 하기 전에 데 이 터 를 먼저 암호 화한 다음 에 복호화 하여 내용 을 가 져 옵 니 다.
  • 효율 은 낮 지만 안전 합 니 다.

  • get 요청 과 post 요청 의 차이
  • get 요청 체 가 없고 post 요청 체 가 있 습 니 다.get url 주소 에 데 이 터 를 넣 어 달라 고 요청 합 니 다.
  • post 는 로그 인 등록 에 자주 사용 할 것 을 요청 합 니 다.
  • post

  • HTTP 프로 토 콜 요청
  • 1.요청 행
  • 요청 헤더
  • User-agent:사용자 에이전트(대상 서버 는 User-agent 를 통 해 현재 요청 한 자원 이 어떤 브 라 우 저 인지 알 수 있 습 니 다)
  • 모 바 일(모 바 일 버 전)브 라 우 저 를 모 의 하려 면 User-agent 를 모 바 일 단말기
  • 으로 바 꿔 야 합 니 다.
  • Cookie:사용자 정 보 를 저장 하 는 데 사용 되 며 요청 할 때마다 상대방 에 게 보 내 는 브 라 우 저 를 휴대 합 니 다.
  • 로그 인 에서 만 접근 할 수 있 는 페이지 가 져 오기;
  • 상대방 의 서버 는 쿠키 를 통 해 우리 가 파충류 라 고 판단 할 것 이다.


  • 3.요청 체(데이터 소지)
  • get 요청 없 음 요청 체
  • post 요청 체

  • HTTP 프로 토 콜 응답
    응답 헤드
  • Set-Cookie:상대방 서버 가 이 필드 를 통 해 쿠키 를 로 컬
  • 으로 설정 합 니 다.
  • 2.응답 체
  • url 주소 에 대응 하 는 응답

  • 본 고의 저자:조서 본문 링크:https://tnanko.github.io/posts/8aff4f2e.html 저작권 성명:본 블 로그 의 모든 글 은 특별 성명 을 제외 하고 CC BY-NC-SA 3.0 허가 협 의 를 채택 합 니 다.전재 출처 를 밝 혀 주세요!

    좋은 웹페이지 즐겨찾기