파 이 썬 을 선택 하여 인터넷 파충류 의 장점 과 이 유 를 쓰 세 요.
인터넷 파충 류 는 웹 페이지 를 자동 으로 추출 하 는 프로그램 으로 검색엔진 을 위해 인터넷 에서 웹 페이지 를 다운로드 하 는 것 이 검색엔진 의 중요 한 구성 이다.전통 적 인 파충 류 는 하나 또는 몇 개의 초기 페이지 의 URL 부터 시작 하여 초기 페이지 의 URL 을 얻 습 니 다.웹 페이지 를 캡 처 하 는 과정 에서 현재 페이지 에서 새로운 URL 을 추출 하여 대기 열 에 넣 고 시스템 의 일정한 정지 조건 을 만족 시 킬 때 까지 계속 합 니 다.
파충류 가 무슨 소 용이 있 습 니까?
•웹 페이지 수집
•색인 생 성
검색 정렬
어떤 언어 로 파충 류 를 씁 니까?
C，C++。효율 적 이 고 빠 르 며 유 니 버 설 검색엔진 이 전체 네트워크 를 기어 오 르 는 데 적합 하 다.단점,개발 이 느 리 고 쓰기 에 구리 고 길다.예 를 들 어 천 망 검색 소스 코드.
스 크 립 트 언어:Perl,Python,Java,Ruby.간단 하고 배우 기 쉬 우 며 좋 은 텍스트 처 리 는 웹 페이지 내용 의 세밀 한 추출 을 편리 하 게 할 수 있 지만 효율 이 높 지 않 아 소량의 사이트 에 대한 초점 을 맞 추 는 데 적합 하 다.
C#？（정보 관리 하 는 사람 이 좋아 하 는 언어 인 것 같다)
왜 최종 적 으로 파 이 썬 을 선 택 했 습 니까?
import urllib
import urllib.request
def loadPage(url,filename):
"""
： url ， html ;
:param url:
:return:
"""
request=urllib.request.Request(url)
html1= urllib.request.urlopen(request).read()
return html1.decode('utf-8')
def writePage(html,filename):
"""
html
:param html:
:return:
"""
with open(filename,'w') as f:
f.write(html)
print('-'*30)
def tiebaSpider(url,beginPage,endPage):
"""
， url;
:param url:
:param beginPage:
:param endPage:
:return:
"""
for page in range(beginPage,endPage+1):
pn=(page - 1)*50
fullurl=url+"&pn="+str(pn)
print(fullurl)
filename=' '+str(page)+' .html'
html= loadPage(url,filename)
writePage(html,filename)
if __name__=="__main__":
kw=input(' :')
beginPage=int(input(' '))
endPage=int(input(' '))
url='https://tieba.baidu.com/f?'
kw1={'kw':kw}
key = urllib.parse.urlencode(kw1)
fullurl=url+key
tiebaSpider(fullurl,beginPage,endPage)이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Python의 None과 NULL의 차이점 상세 정보그래서 대상 = 속성 + 방법 (사실 방법도 하나의 속성, 데이터 속성과 구별되는 호출 가능한 속성 같은 속성과 방법을 가진 대상을 클래스, 즉 Classl로 분류할 수 있다.클래스는 하나의 청사진과 같아서 하나의 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
