Python 다 중 스 레 드 캡 처 웹 기능 인 스 턴 스 상세 설명 실현
요즘 은 인터넷 파충류 와 관련 된 것 을 만 들 고 있다.개원 C++에 쓰 인 라 빈 파충 류 를 살 펴 보고 그 안의 디자인 사상 과 핵심 기술 의 실현 을 자세히 읽 었 다.
1.larbin 의 URL 을 재 활용 하 는 효율 적 인 Bloom filter 알고리즘;
2.DNS 처리,사용 하 는 adns 비동기 소스 구성 요소;
3.url 대기 열 에 대한 처 리 는 일부 캐 시 를 메모리 에 저장 하고 일부 파일 을 기록 하 는 정책 입 니 다.
4.larbin 은 파일 과 관련 된 작업 을 많이 했 습 니 다.
5.larbin 에 연결 풀 이 있 습 니 다.소켓 을 만 들 고 대상 사이트 에 HTTP 프로 토 콜 의 GET 방법 을 보 내 내용 을 얻 고 header 와 같은 것 을 분석 합 니 다.
6.대량의 설명 자 는 poll 방법 으로 I/O 를 재 활용 하여 효율 적 입 니 다.
7.larbin 설정 성 이 강하 다
8.작가 가 사용 하 는 대량의 데이터 구 조 는 모두 자신 이 밑바닥 에서 쓴 것 으로 STL 같은 것 을 거의 사용 하지 않 았 다.
......
아직 많 습 니 다.앞으로 시간 이 있 으 면 글 을 잘 쓰 고 정리 하 세 요.
이틀 동안 python 으로 다 중 스 레 드 다운로드 페이지 를 작성 한 프로그램 은 I/O 밀집 응용 에 있어 다 중 스 레 드 가 좋 은 해결 방안 임 이 분명 하 다.방금 쓴 스 레 드 풀 도 마침 이용 할 수 있 게 되 었 다.사실 python 으로 페이지 를 오 르 는 것 은 매우 간단 합 니 다.urllib 2 모듈 이 있어 서 사용 하기에 편리 하고 기본 적 인 두 세 줄 코드 로 해결 할 수 있 습 니 다.제3자 모듈 을 사용 하면 문 제 를 편리 하 게 해결 할 수 있 지만 개인의 기술 축적 에 있어 좋 은 점 이 없습니다.관건 적 인 알고리즘 은 모두 다른 사람 이 실현 하 는 것 이지 당신 이 실현 하 는 것 이 아니 라 세부 적 인 것 이 많 기 때문에 당신 은 전혀 이해 할 수 없습니다.우리 가 기술 을 하 는 것 은 다른 사람 이 쓴 모듈 이나 api 만 가지 고 스스로 실현 해 야 자신 이 더 많이 배 울 수 있다.
저 는 socket 에서 쓰기 로 했 습 니 다.또한 GET 프로 토 콜 을 봉인 하고 header 를 해석 하기 로 했 습 니 다.또한 DNS 의 분석 과정 을 따로 처리 할 수 있 습 니 다.예 를 들 어 DNS 캐 시 를 한 번 하기 때문에 이렇게 직접 쓰 면 제어 성 이 강하 고 확장 에 유리 합 니 다.timeout 의 처리 에 있어 서 저 는 전체적인 5 초의 시간 초과 처 리 를 사 용 했 습 니 다.포 지 셔 닝(301 or 302)에 대한 처 리 는 최대 3 번 포 지 셔 닝 을 다시 하 는 것 입 니 다.예전 에 테스트 과정 에서 많은 사이트 의 포 지 셔 닝 이 자신 에 게 위치 하 는 것 을 발 견 했 기 때문에 무한 순환 이 되 었 기 때문에 상한 선 을 설정 하 였 습 니 다.구체 적 인 원 리 는 비교적 간단 하 니 코드 를 직접 보면 된다.
자신 이 쓴 후에 urllib 2 와 성능 을 비교 한 결과 자신 이 쓴 효율 이 비교적 높 고 urllib 2 의 오류 율 이 약간 높 아서 왠 지 모 르 겠 습 니 다.인터넷 에서 urllib 2 가 다 중 스 레 드 배경 에서 작은 문제 가 있다 고 하 는데 구체 적 으로 저도 잘 모 르 겠 습 니 다.
먼저 코드 붙 이기:
fetchPage.py Http 프로 토 콜 의 Get 방법 을 사용 하여 페이지 다운 로드 를 하고 파일 로 저장 합 니 다.
'''
Created on 2012-3-13
Get Page using GET method
Default using HTTP Protocol , http port 80
@author: xiaojay
'''
import socket
import statistics
import datetime
import threading
socket.setdefaulttimeout(statistics.timeout)
class Error404(Exception):
'''Can not find the page.'''
pass
class ErrorOther(Exception):
'''Some other exception'''
def __init__(self,code):
#print 'Code :',code
pass
class ErrorTryTooManyTimes(Exception):
'''try too many times'''
pass
def downPage(hostname ,filename , trytimes=0):
try :
#To avoid too many tries .Try times can not be more than max_try_times
if trytimes >= statistics.max_try_times :
raise ErrorTryTooManyTimes
except ErrorTryTooManyTimes :
return statistics.RESULTTRYTOOMANY,hostname+filename
try:
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#DNS cache
if statistics.DNSCache.has_key(hostname):
addr = statistics.DNSCache[hostname]
else:
addr = socket.gethostbyname(hostname)
statistics.DNSCache[hostname] = addr
#connect to http server ,default port 80
s.connect((addr,80))
msg = 'GET '+filename+' HTTP/1.0\r
'
msg += 'Host: '+hostname+'\r
'
msg += 'User-Agent:xiaojay\r
\r
'
code = ''
f = None
s.sendall(msg)
first = True
while True:
msg = s.recv(40960)
if not len(msg):
if f!=None:
f.flush()
f.close()
break
# Head information must be in the first recv buffer
if first:
first = False
headpos = msg.index("\r
\r
")
code,other = dealwithHead(msg[:headpos])
if code=='200':
#statistics.fetched_url += 1
f = open('pages/'+str(abs(hash(hostname+filename))),'w')
f.writelines(msg[headpos+4:])
elif code=='301' or code=='302':
#if code is 301 or 302 , try down again using redirect location
if other.startswith("http") :
hname, fname = parse(other)
downPage(hname,fname,trytimes+1)#try again
else :
downPage(hostname,other,trytimes+1)
elif code=='404':
raise Error404
else :
raise ErrorOther(code)
else:
if f!=None :f.writelines(msg)
s.shutdown(socket.SHUT_RDWR)
s.close()
return statistics.RESULTFETCHED,hostname+filename
except Error404 :
return statistics.RESULTCANNOTFIND,hostname+filename
except ErrorOther:
return statistics.RESULTOTHER,hostname+filename
except socket.timeout:
return statistics.RESULTTIMEOUT,hostname+filename
except Exception, e:
return statistics.RESULTOTHER,hostname+filename
def dealwithHead(head):
'''deal with HTTP HEAD'''
lines = head.splitlines()
fstline = lines[0]
code =fstline.split()[1]
if code == '404' : return (code,None)
if code == '200' : return (code,None)
if code == '301' or code == '302' :
for line in lines[1:]:
p = line.index(':')
key = line[:p]
if key=='Location' :
return (code,line[p+2:])
return (code,None)
def parse(url):
'''Parse a url to hostname+filename'''
try:
u = url.strip().strip('
').strip('\r').strip('\t')
if u.startswith('http://') :
u = u[7:]
elif u.startswith('https://'):
u = u[8:]
if u.find(':80')>0 :
p = u.index(':80')
p2 = p + 3
else:
if u.find('/')>0:
p = u.index('/')
p2 = p
else:
p = len(u)
p2 = -1
hostname = u[:p]
if p2>0 :
filename = u[p2:]
else : filename = '/'
return hostname, filename
except Exception ,e:
print "Parse wrong : " , url
print e
def PrintDNSCache():
'''print DNS dict'''
n = 1
for hostname in statistics.DNSCache.keys():
print n,'\t',hostname, '\t',statistics.DNSCache[hostname]
n+=1
def dealwithResult(res,url):
'''Deal with the result of downPage'''
statistics.total_url+=1
if res==statistics.RESULTFETCHED :
statistics.fetched_url+=1
print statistics.total_url , '\t fetched :', url
if res==statistics.RESULTCANNOTFIND :
statistics.failed_url+=1
print "Error 404 at : ", url
if res==statistics.RESULTOTHER :
statistics.other_url +=1
print "Error Undefined at : ", url
if res==statistics.RESULTTIMEOUT :
statistics.timeout_url +=1
print "Timeout ",url
if res==statistics.RESULTTRYTOOMANY:
statistics.trytoomany_url+=1
print e ,"Try too many times at", url
if __name__=='__main__':
print 'Get Page using GET method'
다음은 저 는 지난 편의 스 레 드 풀 을 보조 로 하여 다 중 스 레 드 에서 의 병렬 오 르 기 를 실현 하고 위 에 자신 이 쓴 다운로드 페이지 의 방법 과 urllib 2 로 성능 대 비 를 하 겠 습 니 다.
'''
Created on 2012-3-16
@author: xiaojay
'''
import fetchPage
import threadpool
import datetime
import statistics
import urllib2
'''one thread'''
def usingOneThread(limit):
urlset = open("input.txt","r")
start = datetime.datetime.now()
for u in urlset:
if limit <= 0 : break
limit-=1
hostname , filename = parse(u)
res= fetchPage.downPage(hostname,filename,0)
fetchPage.dealwithResult(res)
end = datetime.datetime.now()
print "Start at :\t" , start
print "End at :\t" , end
print "Total Cost :\t" , end - start
print 'Total fetched :', statistics.fetched_url
'''threadpoll and GET method'''
def callbackfunc(request,result):
fetchPage.dealwithResult(result[0],result[1])
def usingThreadpool(limit,num_thread):
urlset = open("input.txt","r")
start = datetime.datetime.now()
main = threadpool.ThreadPool(num_thread)
for url in urlset :
try :
hostname , filename = fetchPage.parse(url)
req = threadpool.WorkRequest(fetchPage.downPage,args=[hostname,filename],kwds={},callback=callbackfunc)
main.putRequest(req)
except Exception:
print Exception.message
while True:
try:
main.poll()
if statistics.total_url >= limit : break
except threadpool.NoResultsPending:
print "no pending results"
break
except Exception ,e:
print e
end = datetime.datetime.now()
print "Start at :\t" , start
print "End at :\t" , end
print "Total Cost :\t" , end - start
print 'Total url :',statistics.total_url
print 'Total fetched :', statistics.fetched_url
print 'Lost url :', statistics.total_url - statistics.fetched_url
print 'Error 404 :' ,statistics.failed_url
print 'Error timeout :',statistics.timeout_url
print 'Error Try too many times ' ,statistics.trytoomany_url
print 'Error Other faults ',statistics.other_url
main.stop()
'''threadpool and urllib2 '''
def downPageUsingUrlib2(url):
try:
req = urllib2.Request(url)
fd = urllib2.urlopen(req)
f = open("pages3/"+str(abs(hash(url))),'w')
f.write(fd.read())
f.flush()
f.close()
return url ,'success'
except Exception:
return url , None
def writeFile(request,result):
statistics.total_url += 1
if result[1]!=None :
statistics.fetched_url += 1
print statistics.total_url,'\tfetched :', result[0],
else:
statistics.failed_url += 1
print statistics.total_url,'\tLost :',result[0],
def usingThreadpoolUrllib2(limit,num_thread):
urlset = open("input.txt","r")
start = datetime.datetime.now()
main = threadpool.ThreadPool(num_thread)
for url in urlset :
try :
req = threadpool.WorkRequest(downPageUsingUrlib2,args=[url],kwds={},callback=writeFile)
main.putRequest(req)
except Exception ,e:
print e
while True:
try:
main.poll()
if statistics.total_url >= limit : break
except threadpool.NoResultsPending:
print "no pending results"
break
except Exception ,e:
print e
end = datetime.datetime.now()
print "Start at :\t" , start
print "End at :\t" , end
print "Total Cost :\t" , end - start
print 'Total url :',statistics.total_url
print 'Total fetched :', statistics.fetched_url
print 'Lost url :', statistics.total_url - statistics.fetched_url
main.stop()
if __name__ =='__main__':
'''too slow'''
#usingOneThread(100)
'''use Get method'''
#usingThreadpool(3000,50)
'''use urllib2'''
usingThreadpoolUrllib2(3000,50)
실험 분석:실험 데이터:larbin 에서 캡 처 한 3000 개의 url 은 Mercator 대기 열 모델(제 가 c++로 이 루어 졌 습 니 다.나중에 블 로 그 를 보 낼 기회 가 있 습 니 다)을 통 해 처 리 된 url 집합 으로 무 작위 와 대표 성 을 가지 고 있 습 니 다.50 개의 스 레 드 풀 을 사용 합 니 다.
실험 환경:ubuntu 10.04,네트워크 좋 음,python 2.6
저장:작은 파일,각 페이지,하나의 파일 을 저장 합 니 다.
PS:학교 에서 인터넷 에 접속 하 는 것 은 데이터 에 따라 요금 을 받 기 때문에 인터넷 파충 류 를 하 는 것 입 니 다.회색 상비 데이터 입 니 다!!며칠 후 대규모 url 다운로드 실험 을 할 수 있 습 니 다.수 십 만 url 로 해 보 세 요.
실험 결과:
urllib 2,usingThreadpoolUrllib 2(3000,50)사용 하기
Start at : 2012-03-16 22:18:20.956054
End at : 2012-03-16 22:22:15.203018
Total Cost : 0:03:54.246964
Total url : 3001
Total fetched : 2442
Lost url : 559
다운로드 페이지 의 물리 적 저장 크기:84088 kb
자신의 getPageUsingGet,usingThreadpool(3000,50)사용 하기
Start at : 2012-03-16 22:23:40.206730
End at : 2012-03-16 22:26:26.843563
Total Cost : 0:02:46.636833
Total url : 3002
Total fetched : 2484
Lost url : 518
Error 404 : 94
Error timeout : 312
Error Try too many times 0
Error Other faults 112
다운로드 페이지 의 물리 적 저장 크기:87168 kb
소결:자신 이 쓴 다운로드 페이지 프로그램 은 효율 적 이 고 잃 어 버 린 페이지 도 적다.그러나 사실은 스스로 고려 해 보면 최적화 할 수 있 는 부분 이 많다.예 를 들 어 파일 이 너무 분산 되 고 너무 많은 작은 파일 을 만 들 고 방출 하면 적지 않 은 성능 비용 이 발생 할 것 이다.그리고 프로그램 에서 hash 이름 을 사용 하면 많은 계산 이 생 길 것 이다.좋 은 전략 이 있 으 면 이런 비용 은 모두 생략 할 수 있다.또한 DNS 는 python 이 자체 적 으로 가지 고 있 는 DNS 분석 을 사용 하지 않 아 도 된다.기본 적 인 DNS 분석 은 모두 동기 화 된 작업 이기 때문에 DNS 분석 은 일반적으로 시간 이 걸 리 고 다 중 스 레 드 의 비동기 방식 으로 진행 할 수 있 으 며 적당 한 DNS 캐 시 를 가 하면 어느 정도 효율 을 높 일 수 있다.뿐만 아니 라 실제 페이지 를 캡 처 하 는 과정 에서 대량의 url 이 있 을 수 있 습 니 다.한꺼번에 메모리 에 저장 할 수 없고 일정한 전략 이나 알고리즘 에 따라 합 리 적 으로 분배 해 야 합 니 다.한 마디 로 채집 페이지 에서 해 야 할 일과 최적화 할 수 있 는 것 도 많다.
첨부:demo 소스 코드 여 기 를 클릭 하 십시오본 사이트 다운로드.
파 이 썬 관련 내용 에 관심 이 있 는 독자 들 은 본 사이트 의 주 제 를 볼 수 있다.
본 논문 에서 말 한 것 이 여러분 의 Python 프로 그래 밍 에 도움 이 되 기 를 바 랍 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Python의 None과 NULL의 차이점 상세 정보그래서 대상 = 속성 + 방법 (사실 방법도 하나의 속성, 데이터 속성과 구별되는 호출 가능한 속성 같은 속성과 방법을 가진 대상을 클래스, 즉 Classl로 분류할 수 있다.클래스는 하나의 청사진과 같아서 하나의 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.