딥러닝 Bert 자연어 처리

Bert

언어모델

모델은 언어라는 현상을 모델링하고자 단어의 시퀀스에 화률을 할당하는것을 말한다.
언어모델은 통계를 이용한 방법(통계적 언어 모델 SLM)과 인공신경망 모델로 나뉜다.

<통계적 모델>

• n-gram

# n-gram은 n개의 토큰을 보고 앞으로 나오게 될 단언의 확률을 계산한다.
카운트를 기반으로 통계적 접근을 사용하는 SLM의 일종이다

<인공신경망>

• DFN

딥 러닝에서 가장 기본적으로 사용하는 인공신경망이다 입력층, 은닉층, 출력층으로 구성되어있고,
입력된 데이터는 입력층 -> 은닉층 -> 출력층의 순서로 처리된다.
해당 순서를 거치면서 예측값으로 변환된뒤에 현재 데이터 정보는 사라지기때문에 입력되었던 데이터들의 정보는 저장되지않는다 이러한 문제를 해결하기 위해 제안된 것이 RNN모델이다

• RNN

많은 신경망 모델들은 은닉층에서 활성화 함수를 지난 값은 출력층으로 가는것이 대부분이다. 하지만 RNN모델은 은닉층의 활성화 함수를 통해 나온 결과값을 출력층으로도 보내고 은닉층으로도 다시 보내어 계산의 입력으로 사용한다는 특징이있다다.

• NNLM

Author And Source

이 문제에 관하여(딥러닝 Bert 자연어 처리), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://velog.io/@nodemon/딥러닝-Bert-자연어-처리

---

저자 귀속: 원작자 정보가 원작자 URL에 포함되어 있으며 저작권은 원작자 소유입니다.

우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)