수학의 길(기계학습 실천 안내서) - 텍스트 발굴과 NLP(1)

#encoding=utf-8
#--coding:utf-8--
#code by myhaspl http://blog.csdn.net/myhaspl
from __future__ import print_function,unicode_literals

import nltk
import sys
sys.path.append("../")

import jieba
from jieba import posseg

def cutstrpos(txt):
    # +  http://blog.csdn.net/myhaspl
    cutstr = posseg.cut(txt)
    result=""
    for word, flag in cutstr:
        result+=word+"/"+flag+' '
    return result

def cutstring(txt):
    # http://blog.csdn.net/myhaspl
    cutstr = jieba.cut(txt)
    result=" ".join(cutstr)
    return result
    
# http://blog.csdn.net/myhaspl
txtfileobject = open('test1.txt')
textstr=""
try:
   filestr = txtfileobject.read( )
finally:
   txtfileobject.close( )


# http://blog.csdn.net/myhaspl
posstr=cutstrpos(filestr)
strtag=[nltk.tag.str2tuple(word) for word in posstr.split()]
for word,tag in strtag:
    print(word,tag)
    
# http://blog.csdn.net/myhaspl   
cutstr=cutstring(filestr)
mytext=nltk.text.Text(cutstr)
print(mytext.concordance(" "))

이 블로그의 모든 내용은 오리지널입니다. 전재할 경우 출처를 밝히십시오.

http://blog.csdn.net/myhaspl/

P 국외 S
언론 보도 N
, X
미국 NS
과학자 N
최근 T
획득 V
됐어
2800 M
만 달러 M
( X
약 VN
1.84 M
억 M
인민폐 N
) X
의 UJ
연구 VN
경비 VN
, X
V
설계 VN
1 종 M
에너지 V
및 P
인간 N
인식 V
그래픽 N
속도 N
필적하다
의 UJ
컴퓨터 시스템 N
정보기관 N
요v
처리 V
의 UJ
데이터 N
갈수록
다중 M
, X
이것들
데이터 N
도D
반드시 D
진행 V
신속한 AD
분석 VN
, X
하지만 C
문제 N
V
, X
인간 N
매우
어렵다
유지 V
이렇게
의 UJ
작업 VN
속도 N
, X
컴퓨터 N
의 UJ
공부
능력 N
또
매우
유한 A
. X
 X
하버드 대학교 NT
의 UJ
연구 VN
팀 N
지금 T
정D
착수 V
해결 V
이
1M
문제 N
. X
그들
희망 V
에너지 V
확인 V
, X
V
어떻게
의 UJ
대뇌 N
활성 VN
프로세스 N
부여 V
됐어
인간 N
인식 V
그래픽 N
의 UJ
뛰어난 V
능력 N
. X
그들
의 UJ
최종 목표 N
V
, X
연구 개발 J
V
모조 V
컴퓨터 시스템 N
, X
따라서 C
제조 V
V
더욱
똑똑하다
의 UJ
인공지능 N
시스템 N
. X
인간 N
타고난 N
단지
잘하다
인식 V
패턴 N
, X
하나의 M
물건
오직
필요 V
V를 보다
몇 번 M
, X
다시 D
만나다
의 UJ
때
단지
에너지 V
알아보다
됐어
. X
컴퓨터 N
기준 D
아니면 C
, X
설령
훈련 VN
상위 F
천 번 M
, X
또한
매우
어렵다
배양 V
V
이렇게
의 UJ
능력 N
. X
수V
인간 N
대뇌 N
계발 V
그리고 C
연구 개발 J
V
의 UJ
지능형 N
컴퓨터 N
가능C
V
눈치채다
네트워크 N
침입 V
、 X
읽기 V
핵자기 공진 L
이미지 N
、 X
심지어 D
에너지 V
운전 V
자동차 N
. X
P 에 의하면
하버드 대학교 NT
엔지니어링 N
및 P
응용과학L
학원
( X
SEAS ENG
) X
칭V
, X
P를 위해
확인 V
왜
인간 N
및 C
기타 R
포유동물 N
가능 V
V까지
이
약간의 M
, X
연구 VN
인원 N
레코드 N
됐어
대뇌 N
시각 N
가죽층 N
의 UJ
활성 VN
상황 N
, X
병렬 C
V 사용
혁신 V
기술 N
장D
그것들 R
사이 F
의 UJ
연락처 N
그림 N
나오다
. X
다음 L
, X
그들
다시
V 사용
역방향 N
엔지니어링 N
처리 V
이것들
데이터 N
, X
병렬 C
장D
그 R
VN 활용
V
지능형 NR
컴퓨터 N
알고리즘 N
의 UJ
연구 개발 J
중 F
가다
. X
 X
고급 B
정보 연구 N
계획서 N
( X
IARPA ENG
) X
장D
자금 N
V에 연결
됐어
하버드 대학교 NT
엔지니어링 N
및 P
응용과학L
학원
( X
SEAS ENG
) X
、 X
뇌과학N
중심 N
( X
CBS ENG
) X
、 X
그리고 C
분자 N
및 P
세포 N
생물학과 N
. X
이
V
하나의 M
거대 A
의 UJ
도전 VN
, X
그것
의 UJ
규모 N
유사 V
P
인간 N
게놈 N
계획 N
. X
이 항목 R
목적 N
리더 N
、 X
분자 N
및 P
세포 N
생물학과 N
및 C
컴퓨터 과학 N
매다
의 UJ
보조 VN
교수
데이비드 NR
· X
콕스 NRT
( X
David ENG
 X
Cox ENG
) X
말하다
, X
요v
레코드 N
이렇게
다중 M
뉴런NZ
의 UJ
활성 VN
、 X
병렬 C
그림 N
V
그것들 R
사이 F
의 UJ
연락처 N
, X
단일 D
V
이
1 항목 M
작업 VN
단지
있음 V
거대 A
의 UJ
과학 N
가치 N
, X
하지만 C
이
그냥 C
우리
프로젝트 N
의 UJ
처음 N
절반 M
단지 Y
. X
등유
우리
확인 V
됐어
대뇌 N
공부
방법 N
의 UJ
기본 규범 N
이후 F
, X
우리
조만간 NR
설계 VN
V
1 종 M
가능 V
비견하다
、 X
심지어 D
초월 V
인간 N
의 UJ
컴퓨터 시스템 N
. X
Displaying 9 of 9 matches:
과정은 인류가 도형을 식별하는 뛰어난 능력을 부여했다.그들의 궁극적인 목표는
 . 그들의 궁극적인 목표는 모조 컴퓨터 시스템을 개발하여 제조하는 것이다
모방 컴퓨터 시스템을 만들어 더욱 똑똑한 인공지능 시스템을 만든다.
, 다시 볼 때 알아볼 수 있어요.컴퓨터는 그렇지 않다.
천 번 훈련해도 이런 능력을 키우기 어렵다.인간의 뇌를 받다
   . 인간의 뇌의 계발을 받아 개발된 스마트 컴퓨터는 알아차릴 수 있다
기술은 그것들 사이의 관계를 그려낸다.다음에 그들은 다시 사용한다
다신경원의 활동, 그리고 그것들 사이의 관계를 그려낸다. 단지 이것뿐이다.
이 준칙 이후, 우리는 조만간 필적할 수 있고, 심지어는 초월할 수 있도록 설계할 것이다