python 전체 텍스트 검색엔진 상세 설명
최근 파 이 썬 으로 바 이 두 와 같은 키워드 검색 기능 을 구현 하 는 방법 을 모색 해 왔 다.키워드 검색 하면 정규 표현 식 이 저절로 연상 된다.정규 표현 식 은 모든 검색 의 기초 이 며,python 에는 re 류 가 있 으 며,정규 일치 에 만 사 용 됩 니 다.그러나 정규 표현 식 만 으로 는 검색 기능 을 잘 실현 할 수 없다.
python 에는 전문 검색엔진 에 사용 되 는 whoosh 패키지 가 있 습 니 다.
whoosh 는 국내 에서 사용 하 는 것 이 비교적 적 고 그 성능 은 아직 sphinx/coresearch 가 성숙 하지 않 았 지만 전자 와 달리 순수한 python 라 이브 러 리 로 python 애호가 들 에 게 더욱 편리 하 게 사용 할 수 있 습 니 다.구체 적 인 코드 는 다음 과 같다.
설치 하 다.
입력 명령 행 pip install whoosh
가 져 올 가방:
fromwhoosh.index import create_in
fromwhoosh.fields import *
fromwhoosh.analysis import RegexAnalyzer
fromwhoosh.analysis import Tokenizer,Token
중국어 단어 해석 기
class ChineseTokenizer(Tokenizer):
"""
"""
def __call__(self, value, positions=False, chars=False,
keeporiginal=True, removestops=True, start_pos=0, start_char=0,
mode='', **kwargs):
assert isinstance(value, text_type), "%r is not unicode "% value
t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
list_seg = jieba.cut_for_search(value)
for w in list_seg:
t.original = t.text = w
t.boost = 0.5
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def chinese_analyzer():
return ChineseTokenizer()
색인 함수 구축
@staticmethod
def create_index(document_dir):
analyzer = chinese_analyzer()
schema = Schema(titel=TEXT(stored=True, analyzer=analyzer), path=ID(stored=True),
content=TEXT(stored=True, analyzer=analyzer))
ix = create_in("./", schema)
writer = ix.writer()
for parents, dirnames, filenames in os.walk(document_dir):
for filename in filenames:
title = filename.replace(".txt", "").decode('utf8')
print title
content = open(document_dir + '/' + filename, 'r').read().decode('utf-8')
path = u"/b"
writer.add_document(titel=title, path=path, content=content)
writer.commit()
검색 함수
@staticmethod
def search(search_str):
title_list = []
print 'here'
ix = open_dir("./")
searcher = ix.searcher()
print search_str,type(search_str)
results = searcher.find("content", search_str)
for hit in results:
print hit['titel']
print hit.score
print hit.highlights("content", top=10)
title_list.append(hit['titel'])
print 'tt',title_list
return title_list
읽 어 주 셔 서 감사합니다. 여러분 에 게 도움 이 되 기 를 바 랍 니 다.본 사이트 에 대한 여러분 의 지지 에 감 사 드 립 니 다!
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
로마 숫자를 정수로 또는 그 반대로 변환그 중 하나는 로마 숫자를 정수로 변환하는 함수를 만드는 것이었고 두 번째는 그 반대를 수행하는 함수를 만드는 것이었습니다. 문자만 포함합니다'I', 'V', 'X', 'L', 'C', 'D', 'M' ; 문자열이 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.