unigram [🤗 강좌 6.8] Unigram 토큰화 특정 토큰의 확률은 말뭉치 내에서의 해당 토큰 출현 빈도를 vocabulary에 존재하는 모든 토큰들의 출현 빈도의 합으로 나눈 것입니다(확률의 합이 1이 되도록 하기 위해). 모든 토큰의 출현 빈도가 독립적인 것으로 간주되기 때문에 이 확률은 각 토큰의 확률의 곱일 뿐입니다. "pug"의 예에서 가능한 각 분할에 대해 얻을 수 있는 확률은 다음과 같습니다: 따라서 "pug"는 위 분할 방법... unigramunigram
[🤗 강좌 6.8] Unigram 토큰화 특정 토큰의 확률은 말뭉치 내에서의 해당 토큰 출현 빈도를 vocabulary에 존재하는 모든 토큰들의 출현 빈도의 합으로 나눈 것입니다(확률의 합이 1이 되도록 하기 위해). 모든 토큰의 출현 빈도가 독립적인 것으로 간주되기 때문에 이 확률은 각 토큰의 확률의 곱일 뿐입니다. "pug"의 예에서 가능한 각 분할에 대해 얻을 수 있는 확률은 다음과 같습니다: 따라서 "pug"는 위 분할 방법... unigramunigram