python 웹 페이지 캡 처 과정
2895 단어 python
1.웹 페이지 캡 처 과정
http 요청 준비(http request)->대응 하 는 요청 제출->되 돌아 오 는 응답 받 기(http response)->웹 소스 코드 받 기
2.GET 아니면 POST
3.Headers(선택 가능)
어떤 경우 에는 직접 잡 는 것 이 금지 되 어 있 습 니 다.이때 Headers 를 제공 하여 상대방 에 게 내 가 로봇 이 아니 라 는 것 을 알려 야 합 니 다.
예 를 들 면:
1 def getHtml(url):
2 header={'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1','Referer' : '******'}
3 request=urllib2.Request(url,None,header)
4 response=urllib2.urlopen(request)
5 text=response.read()
6 return text4.Post Data(선택 가능)
어떤 경우 에는 특정한 사이트 에 접속 해 야 하 는데,이때 계 정 비밀번호 같은 것 을 제출 해 야 할 경우 에는 Post Data 를 사용 해 야 한다.
IE 에 서 는 request body,chrome 에 서 는 Post Data 가 됩 니 다.
5.쿠키(선택 가능)
일반적으로 모 의 로그 인 을 할 때Cookie와 관련된다.
6.기타(대리,최대 시간 초과 timeout)
내용 분석
1.html 소스 코드 에 대해 호출BeautifulSoup라 이브 러 리
2. 정규 표현 식
본문 은 참고 하 였 다http://www.crifan.com/summary_about_flow_process_of_fetch_webpage_simulate_login_website_and_some_notice/
간략화 판 이 라 고 할 수 있 고 보고 싶 은 것 은 보 러 가도 된다원문.
PS:블 로 거들 은 컴퓨터 에 관 한 자 료 를 많이 제 공 했 습 니 다.읽 고 도움 이 많이 되 었 습 니 다.관심 있 는 것 은 지나 갈 수 있 습 니 다보다
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
로마 숫자를 정수로 또는 그 반대로 변환그 중 하나는 로마 숫자를 정수로 변환하는 함수를 만드는 것이었고 두 번째는 그 반대를 수행하는 함수를 만드는 것이었습니다. 문자만 포함합니다'I', 'V', 'X', 'L', 'C', 'D', 'M' ; 문자열이 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
