python 파충류 흐름

요약: 파충류 프로 세 스: 데이터 수집 - > 데이터 분석 - > 데이터 정리 - > 데이터 저장 1. 채집: urllib 2 (python 3.3 이후 urllib 2 를 urllib. request 로 변경) 또는 requests
urllib 요청 get 방식

import urllib.request
	response = urllib.request.urlopen('http://www.baidu.com')
    print(response.read().decode('utf-8')) 
    # getcode()            geturl()        url      info()

urllib 가 요청 한 post 방식

import urllib.request
	request = urllib.request.Request(url)             #  Request  
	request.add_data('a','1')                         #    
	request.add_header("User-Agent","Mozilla/5.0")    #  http header  
	response = urllib.request.urlopen(request)         #   request    response
	# head= {"User-Agent","Mozilla/5.0"}
	# request= urllib.request.Request(url，headers = head)
	# response = urllib.request.urlopen(request)
	# print(response.read().decode('utf-8'))

requests 요청 get 방식

import  requests
response = requests.get('http://httpbin.org/get')   #   
#     get    
# response = requests.get("http://httpbin.org/get?name=germey&age=22")
#      data = {
	   				'name': 'germey',
	  				'age': 22}            
# response = requests.get("http://httpbin.org/get",params = data)          
print(response.text)

2. 해석: BeautifulSoup + 정규 BeautifulSoup

 from bs4 import BeautifulSoup
	   res = requests.get(url)
	   soup = BeautifulSoup(res.text, 'lxml')
	   soup.select()                                     # id class

정규:

 import re  
    re.match()
    ...

3. 일반적으로 기어 내 려 오 는 데 이 터 를 정리 하 는 것 은 문자열 입 니 다. 문자열 을 일련의 처리 해 야 합 니 다.예 를 들 어 str. strip ()
4. 저장
데이터베이스

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

(1) 분포 식 파충류 Scrapy 는 어떻게 해 야 하나 요 - 설치

Scrapy 의 설치 에 대해 인터넷 을 샅 샅 이 뒤 졌 습 니 다. 하나씩 설치 하 는 것 은 솔직히 좀 번 거 롭 습 니 다. 그럼 원 키 로 설치 한 것 이 있 습 니까?답 은 분명히 있 습 니 다. 다음은 ...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

python 파충류 흐름

좋은 웹페이지 즐겨찾기