[🤗 강좌 6.5] 정규화(Normalization) 및 사전 토큰화(Pre-tokenization)

트랜스포머 모델과 함께 사용되는 가장 일반적인 3가지 하위 단어(subwword) 토큰화 알고리즘(Byte-Pair Encoding[BPE], WordPiece, Unigram)에 대해 더 자세히 알아보기 전에, 먼저 각 토크나이저가 텍스트에 적용하는 전처리 과정을 살펴보겠습니다. 다음 그림은 토큰화 파이프라인의 단계에 대한 상위 수준의 개요를 보여주고 있습니다:

텍스트를 하위 토큰(subtokens)으로 분할하기 전에(모델에 따라), 토크나이저는 정규화(normalization) 및 사전 토큰화(pre-tokenization) 두 단계를 수행합니다.

정규화(Normalization)

정규화 단계에는 불필요한 공백 제거, 소문자 변환(lowercasing) 및 악센트 제거 등과 같은 몇가지 일반적인 정제 작업이 포함됩니다. NFC 또는 NFKC와 같은 유니코드 정규화(Unicode normalization) 작업과 거의 동일한 작업이 이 과정에서 수행됩니다.

🤗Transformers의 tokenizer는 🤗Tokenizers 라이브러리에서 하부 토크나이저에 대한 액세스를 제공하는 backend_tokenizer라는 속성을 가지고 있습니다:

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
print(type(tokenizer.backend_tokenizer))

토크나이저 객체의 normalizer 속성에는 normalize_str() 메서드가 있습니다. 이 메서드는 정규화가 수행되는 방식을 확인하는데 사용할 수 있습니다:

print(tokenizer.backend_tokenizer.normalizer.normalize_str("Héllò hôw are ü?"))

이 예에서는 bert-base-uncased 체크포인트를 선택했기 때문에 정규화 과정에서 소문자화(lowercasing)를 수행하고 악센트를 제거했습니다.

✏️ Try it out! bert-base-cased 체크포인트에서 토크나이저를 로드하고 동일한 문자열을 입력해보세요. 토크나이저의 대소문자 구분이 있는 버전과 소문자 변환이 된 버전 간에 볼 수 있는 주요 차이점은 무엇입니까?

사전토큰화(Pre-tokenization)

다음 섹션에서 볼 수 있듯이 토크나이저는 원시 텍스트만으로는 학습될 수 없습니다. 대신에 먼저 텍스트를 단어와 같은 작은 개체들로 분할해야 합니다. 여기서 사전 토큰화(pre-tokenization) 단계가 실행됩니다. 2장에서 보았듯이 단어 기반 토크나이저는 원시 텍스트를 단순히 공백과 구두점을 기준으로 단어로 분할할 수 있습니다. 이 단어들은 토크나이저가 학습 과정에서 학습할 수 있는 하위 토큰(subtokens)의 경계가 됩니다.

빠른 토크나이저(fast tokenizer)가 사전 토큰화(pre-tokenization)를 수행하는 과정을 보려면 tokenizer 객체의 pre_tokenizer 속성이 가진 pre_tokenize_str() 메서드를 사용할 수 있습니다:

tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are  you?")

토크나이저가 오프셋(offsets)을 어떻게 유지하고 있는지에 주목하세요. 이는 이전 섹션에서 사용한 오프셋 매핑을 제공하는 방법입니다. 여기서 토크나이저는 두 개의 공백("are"와 "you" 사이에 있는)을 무시하고 하나의 공백으로 바꾸지만, "are"와 "you" 사이의 오프셋 점프(14에서 16)는 계속 유지합니다.

우리는 BERT 토크나이저를 사용하고 있기 때문에 사전 토큰화(pre-tokenization)에는 공백(whitespace)과 구두점(puntuation) 분할이 포함됩니다. 다른 토크나이저들은 이 단계에서 다른 규칙을 수행할 수 있습니다. 예를 들어 GPT-2 토크나이저를 사용하는 경우:

tokenizer = AutoTokenizer.from_pretrained("gpt2")
tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are  you?")

위 코드의 실행 결과와 같이, 공백과 구두점에서도 분할되지만 공백은 없애지 않고 Ġ 기호로 대체하므로 토큰을 디코딩하면 원래 공백을 복구할 수 있습니다.

또한 BERT 토크나이저와 달리 이 토크나이저는 이중 공백을 무시하지 않습니다.

마지막 예로 SentencePiece 알고리즘을 기반으로 하는 T5 토크나이저를 살펴보겠습니다:

tokenizer = AutoTokenizer.from_pretrained("t5-small")
tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are  you?")

GPT-2 토크나이저와 같이 T5 토크나이저는 공백을 유지하고 특정 토큰(_)으로 대체하지만 구두점이 아닌 공백에서만 토큰을 분할합니다. 또한 기본적으로 문장 시작 부분("Hello" 앞부분)에 공백을 추가하고 "are"와 "you" 사이의 이중 공백을 무시했습니다.

지금까지 토크나이저가 텍스트를 처리하는 각각의 방법을 조금 살펴보았으므로 하부의 토큰화 알고리즘 자체를 공부할 수 있습니다. 우선 다양한 목적으로 광범위하게 적용할 수 있는 SentencePiece를 간단히 살펴보겠습니다. 그리고 다음 3개의 섹션에서 하위 단어(subword) 토큰화에 사용되는 세 가지 주요 알고리즘이 작동하는 방식을 알아보겠습니다.

SentencePiece

SentencePiece는 다음 세 섹션에서 보게 될 모든 모델과 함께 사용할 수 있는 텍스트 전처리를 위한 토큰화 알고리즘입니다. 텍스트를 일련의 유니코드 문자들로 간주하고 공백을 특수 문자인 _로 치환합니다. Unigram 알고리즘(섹션 7 참조)과 함께 사용하면 사전 토큰화(pre-tokenization) 단계가 필요하지 않으므로 공백 문자가 사용되지 않는 언어(예: 중국어 또는 일본어)에 매우 유용합니다.

SentencePiece의 또 다른 주요 기능은 가역적 토큰화(reversible tokenization)입니다. 공백에 대한 특별한 처리가 없기 때문에 토큰 디코딩은 토큰을 연결하고 _s를 공백으로 바꾸는 것으로 간단히 수행됩니다. 그 결과 정규화된 텍스트가 도출됩니다. 앞에서 보았듯이 BERT 토크나이저는 반복되는 공백을 제거하므로 토큰화는 되돌릴 수 없습니다.

토큰화 알고리즘 개요

이후 섹션에서는 세 가지 주요 하위 단어 토큰화(subword tokenization) 알고리즘인 BPE(GPT-2 등에서 사용), WordPiece(예: BERT에서 사용) 및 Unigram(T5 및 그 외.)에 대해 자세히 설명합니다. 본격적으로 시작하기 전에 각각의 작동 방식에 대한 간략한 개요를 아래 표에서 보여주고 있습니다. 다음 섹션을 각각 읽은 후 그래도 이해가 되지 않는 경우에는 주저하지 말고 이 표로 다시 돌아오세요.

이제 BPE에 대해서 자세히 알아봅시다!