미리 처리tencent 단어 벡터
11278 단어 python 프로그래밍
# , ,
def load_tencent_word_embedding(input_file, output_file):
n = 0
with open('tencent.txt', 'a', encoding='utf-8', errors='ignore') as w_f:
with open('Tencent_AILab_ChineseEmbedding.txt', 'r', encoding='utf-8', errors='ignore')as f:
for i in tqdm(range(8824330)):#
data = f.readline()
a = data.split()#list
if len(a) == 201:
if not a[0].isdigit():
n = n + 1
w_f.write(data)
print('total lines:',n) # 8748463
#
def process_tencent_embedding_unigram(input_file, output_file):
n = 0
with open(output_file, 'a', encoding='utf-8') as g:
with open(input_file, 'r', encoding='utf-8') as f:
for i in tqdm(range(8748463)):
data = f.readline()
a = data.split()
if i == 0:
g.write(data)
else:
if len(a[0]) == 1:
n += 1
g.write(data)
print('total unigram:', n)
# ( )
def process_tencent_embedding_bigrams(input_file, output_file):
n = 0
with open(output_file, 'a', encoding='utf-8') as g:
with open(input_file, 'r', encoding='utf-8') as f:
for i in tqdm(range(8748463)):
data = f.readline()
a = data.split()
if i == 0:
g.write(data)
else:
if len(a[0]) == 2:
n += 1
g.write(data)
print('total bigrams:',n)
if __name__ == '__main__':
input_file = 'Tencent_AILab_ChineseEmbedding'
output_file = 'tencent.txt'
load_tencent_word_embedding(input_file, output_file)
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
anaconda에서 jupyter notebook의 기본 브라우저 수정1、Anaconda prompt 2를 열고 Jupyter notebook --generate-config 3을 입력하면 Jupyternotebook_config.py 파일이 있는 디렉터리입니다.이 파일을 찾아서 수첩...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.