자연어스터디 [자연어 처리 스터디 기록] 4월 5일~4월 13일(마지막 주차) 이 글은 대부분의 내용이 huggingface내의 tokenizer 종류에 대해 설명 및 예제를 사용하고 있습니다. unigrams (N=1) : an, adorable, little, boy, is, spreading, smiles bigrams (N=2) : an adorable, adorable little, little boy, boy is, is spreading, spreading... 자연어스터디자연어스터디 [자연어 처리 스터디 기록] 3월 28일~4월 4일(3주차) [자연어 처리 입문과정 공부하는 기록입니다.] 잘못된 부분이 있다면 댓글로 알려주시면 감사하겠습니다. 문장이 아닌 문서 분석 내가 고른 자연어 처리 주제 (총 2개) 영화 리뷰 감정 분석 (영어) 텍스트 워드클라우드 (한글) 기존의 오픈소스 및 오픈데이터를 이용하는것을 넘어 웹사이트 내의 데이터를 추출하여 그 데이터를 자연어처리를 하는 형태가 목표이다. 분석 과정 그래서 우리가 원하는 정보를... 자연어스터디자연어스터디
[자연어 처리 스터디 기록] 4월 5일~4월 13일(마지막 주차) 이 글은 대부분의 내용이 huggingface내의 tokenizer 종류에 대해 설명 및 예제를 사용하고 있습니다. unigrams (N=1) : an, adorable, little, boy, is, spreading, smiles bigrams (N=2) : an adorable, adorable little, little boy, boy is, is spreading, spreading... 자연어스터디자연어스터디 [자연어 처리 스터디 기록] 3월 28일~4월 4일(3주차) [자연어 처리 입문과정 공부하는 기록입니다.] 잘못된 부분이 있다면 댓글로 알려주시면 감사하겠습니다. 문장이 아닌 문서 분석 내가 고른 자연어 처리 주제 (총 2개) 영화 리뷰 감정 분석 (영어) 텍스트 워드클라우드 (한글) 기존의 오픈소스 및 오픈데이터를 이용하는것을 넘어 웹사이트 내의 데이터를 추출하여 그 데이터를 자연어처리를 하는 형태가 목표이다. 분석 과정 그래서 우리가 원하는 정보를... 자연어스터디자연어스터디