python 파충류 데 이 터 를 mongoDB 에 저장 하 는 인 스 턴 스 방법

파충류 데 이 터 를 mongoDB 에 저장 하 는 방법:

import pymongo

#       ，mongodb                   ，                

def save_mongo(     )：

　　#                 ，  IP localhost  ，    27017

　　client = pymongo.MongoClient('localhost',27017)

　　#      (      ，mongo        ，                   ，     ，             )

　　db = client['        ']

　　#    

　　collection = db['     (mongo     )']

　　#        (    dict      ，            )

　　collection.insert(dict(     ))

mongoDB 소개:
그것 의 특징 은 고성능,배치 하기 쉽 고 사용 하기 쉬 우 며 데 이 터 를 저장 하 는 것 이 매우 편리 하 다 는 것 이다.주요 기능 특성:
*집합 을 위 한 저장,대상 형식의 데 이 터 를 저장 하기 쉽 습 니 다.
*패턴 자유.
*동적 조 회 를 지원 합 니 다.
*내부 대상 을 포함 한 완전한 색인 을 지원 합 니 다.
*검색 지원.
*복사 와 고장 복 구 를 지원 합 니 다.
*대형 대상(예 를 들 어 동 영상 등)을 포함 하여 효율 적 인 바 이 너 리 데이터 저장 을 사용 합 니 다.
*클 라 우 드 컴 퓨 팅 차원 의 확장 성 을 지원 하기 위해 조각 을 자동 으로 처리 합 니 다.
*지원 Golang,RUBY,PYTHON,JAVA,C++,PHP,C\#등 다양한 언어.
*파일 저장 형식 은 BSON(JSON 확장)입 니 다.
*인터넷 으로 접근 가능.
인 스 턴 스 확장:

# coding=utf-8

import re
import requests
from lxml import etree
import pymongo
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def getpages(url, total):
 nowpage = int(re.search('(\d+)', url, re.S).group(1))
 urls = []

 for i in range(nowpage, total + 1):
  link = re.sub('(\d+)', '%s' % i, url, re.S)
  urls.append(link)

 return urls

def spider(url):
 html = requests.get(url)

 selector = etree.HTML(html.text)

 book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()')
 book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()')

 saveinfo(book_name, book_author)

def saveinfo(book_name, book_author):
 connection = pymongo.MongoClient()
 BookDB = connection.BookDB
 BookTable = BookDB.books

 length = len(book_name)

 for i in range(0, length):
  books = {}
  books['name'] = str(book_name[i]).replace('
','')
  books['author'] = str(book_author[i]).replace('
','')
  BookTable.insert_one(books)

if __name__ == '__main__':
 url = 'http://readfree.me/shuffle/?page=1'
 urls = getpages(url,3)

 for each in urls:
  spider(each)

이상 은 python 파충류 데 이 터 를 mongoDB 에 저장 하 는 인 스 턴 스 방법 에 대한 상세 한 내용 입 니 다.파충류 데 이 터 를 mongoDB 에 어떻게 저장 하 는 지 에 대한 자 료 는 다른 관련 글 에 주목 하 세 요!