[🤗 강좌 6.3] "빠른(fast)" 토크나이저의 특별한 능력

이 섹션에서는 🤗Transformers에서 토크나이저의 기능을 자세히 살펴보겠습니다. 지금까지는 입력을 토큰화하거나 토큰 아이디를 다시 텍스트로 디코딩하는데만 사용했지만 토크나이저, 특히 🤗Tokenizers 라이브러리가 지원하는 토크나이저는 훨씬 더 많은 작업을 수행할 수 있습니다. 이러한 추가 기능을 설명하기 위해 1장에서 처음 접한 token-classification(NER) 및 question-answering 파이프라인의 결과를 재현하는 방법을 살펴봅니다.

다음 논의에서 우리는 종종 "느린(slow)" 토크나이저와 "빠른(fast)" 토크나이저를 구분해서 설명합니다. "느린(slow)" 토크나이저는 🤗Transformers 라이브러리 내부에서 Python으로 작성된 것이고, 빠른 버전은 Rust로 작성되어 🤗Tokenizers에서 제공하는 것입니다. 약물 검토(drug review) 데이터셋을 토큰화하는데 빠른 혹은 느린 토크나이저의 실행 속도를 보고한 5장의 표를 기억한다면 우리가 이를 빠르고 느린 것으로 부르는 이유를 알 수 있을 것입니다.

단일 문장을 토큰화할 때 동일한 토크나이저의 느린 버전과 빠른 버전 간의 속도 차이가 항상 나는 것은 아닙니다. 사실, 빠른 버전은 실제로 더 느릴 수 있습니다! 많은 텍스트를 동시에 토큰화할 때만 차이를 명확하게 알 수 있습니다.

배치 인코딩 (Batch encoding)

토크나이저의 출력은 단순한 Python 딕셔너리가 아닙니다. 우리가 얻는 것은 실제로 특별한 BatchEncoding 객체입니다. 이것은 딕셔너리의 하위 클래스이지만(이것이 이전에 우리가 문제없이 해당 결과를 색인화할 수 있었던 이유입니다), 빠른 토크나이저에서 주로 사용하는 추가 메서드가 있습니다.

병렬화(parallelization) 기능 외에도, 빠른 토크나이저의 주요 기능은 최종 토큰이 원본 텍스트에서 어디에 위치하는지 범위(span)를 항상 추적한다는 것입니다. 이를 오프셋 매핑(offset mapping) 이라고 합니다. 이것은 차례대로 각 단어를 생성된 토큰에 매핑하거나 원본 텍스트의 각 문자를 내부 토큰에 매핑하거나 그 반대로 매핑하는 것과 같은 기능들입니다.

예를 살펴보겠습니다:

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
example = "My name is Sylvain and I work at Hugging Face in Brooklyn."
encoding = tokenizer(example)
print(type(encoding))

위에서 언급했듯이, 토크나이저의 출력에서 BatchEncoding 객체를 얻습니다. AutoTokenizer 클래스는 기본적으로 빠른 토크나이저를 선택하므로 이 BatchEncoding 객체가 제공하는 추가 메서드를 사용할 수 있습니다. 토크나이저가 빠른지 느린지 확인하는 두 가지 방법이 있습니다. 우선, 토크나이저의 is_fast 속성을 확인할 수 있습니다:

tokenizer.is_fast

또는 encoding의 is_fast 속성을 확인하는 방법도 있습니다:

encoding.is_fast

빠른 토크나이저를 가지고 우리가 무엇을 할 수 있는지 봅시다. 첫째, 토큰 아이디를 다시 토큰으로 변환하지 않고도 토큰에 액세스할 수 있습니다:

encoding.tokens()

이 경우 인덱스 5의 토큰은 ##yl이며, 이는 원래 문장에서 "Sylvain"이라는 단어의 일부입니다. 또한 word_ids() 메서드를 사용하여 각 토큰이 유래된 해당 단어의 인덱스를 가져올 수 있습니다:

encoding.word_ids()

토크나이저의 특수 토큰 [CLS] 및 [SEP]가 None으로 매핑된 다음, 개별 토큰들이 해당 토큰이 유래한 단어에 매핑되는 것을 볼 수 있습니다. 이 메서드는 두 개의 토큰이 같은 단어에 있는지 아니면 토큰이 단어의 시작 부분에 있는지 확인하는데 특히 유용합니다. 이를 위해 ## 접두사를 사용할 수 있지만 이는 BERT와 같은 유형의 토크나이저에서만 작동합니다. 이 방법은 속도가 빠른 모든 유형의 토크나이저에서 유효합니다. 다음 장에서는 이 기능을 사용하여 개체명 인식(NER) 및 품사(POS) 태깅과 같은 작업에서 각 단어에 해당하는 레이블을 토큰에 올바르게 적용하는 방법을 볼 것입니다. 마스크 언어 모델링(masked language modeling), 즉 전체 단어 마스킹(whole word masking)이라고 하는 기법에서, 동일한 단어에서 분리된 모든 토큰들을 마스킹하는 데 사용할 수도 있습니다.

단어가 무엇인지에 대한 개념은 복잡합니다. 예를 들어, "I'll"("I will"의 축약형)은 하나의 단어일까요? 아니면 두개일까요? 이는 실제로 토크나이저와 적용되는 사전 토큰화(pre-tokenization) 작업에 따라 다릅니다. 일부 토크나이저는 공백 기준으로 분할하므로 이를 한 단어로 간주합니다. 또 다른 토크나이저들은 공백 위에 구두점을 사용하므로 두 단어로 간주합니다.

마찬가지로, 토큰을 가져온 문장에 해당 토큰을 매핑하는데 사용할 수 있는 sentence_ids() 메서드가 있습니다(이 경우 토크나이저에서 반환된 token_type_ids가 동일한 정보를 제공할 수 있습니다).

마지막으로 word_to_chars() 또는 token_to_chars() 및 char_to_word() 또는 char_to_token() 메서드를 통해 모든 단어 또는 토큰을 원본 텍스트의 문자에 매핑할 수 있으며 그 반대로도 매핑할 수 있습니다. 예를 들어, word_ids() 메서드는 ##yl이 인덱스 3에 있는 단어의 일부라고 알려줬지만 정확히 문장 내에서 어떤 단어에 해당하는 걸까요? 다음과 같이 알 수 있습니다:

start, end = encoding.word_to_chars(3)
example[start:end]

이전에 언급했듯이 이 모든 것은 빠른 토크나이저가 오프셋(offset) 목록에서 각 토큰이 가져온 텍스트 범위(span)를 추적한다는 사실에 기반하여 구동됩니다. 활용 방법을 설명하기 위해 다음으로 token-classification 파이프라인의 결과를 수동으로 복제하는 방법을 알아보겠습니다.

token-classification 파이프라인의 내부 동작

1장에서 우리는 🤗Transformers의 pipeline() 함수를 사용하여, 텍스트의 어느 부분이 사람(person), 위치(location) 또는 조직(organization)과 같은 엔터티(entities)에 해당하는지 식별하는 작업인 NER을 처음으로 살펴봤습니다. 그런 다음 2장에서 파이프라인이 원시 텍스트를 대상으로 예측하는데 필요한 세 단계 즉, 토큰화(tokenization), 모델을 통한 입력 전달, 후처리(post-processing)를 어떻게 그룹화하는지를 보았습니다. token-classification 파이프라인의 처음 두 단계는 다른 파이프라인과 동일하지만 후처리(post-processing)는 조금 더 복잡합니다. 한번 살펴봅시다!

파이프라인으로 기본 실행 결과 도출하기

먼저, 수작업으로 비교할 결과를 얻을 수 있도록 token-classification 파이프라인을 구현해 보겠습니다. 사용되는 모델은 dbmdz/bert-large-cased-finetuned-conll03-english입니다. 이 모델은 문장에 대해 NER를 수행합니다:

from transformers import pipeline

token_classifier = pipeline("token-classification")
token_classifier("My name is Sylvain and I work at Hugging Face in Brooklyn.")

모델은 "Sylvain"에서 분리된 각 토큰들을 모두 사람(person)으로, "Hugging Face"에서 분리된 각 토큰들을 모두 조직(organization)으로, "Brooklyn" 토큰을 위치(location)로 올바르게 식별했습니다. 파이프라인에 동일한 엔터티에 해당하는 토큰을 그룹화하도록 요청할 수도 있습니다:

from transformers import pipeline

token_classifier = pipeline("token-classification", aggregation_strategy="simple")
token_classifier("My name is Sylvain and I work at Hugging Face in Brooklyn.")

aggregation_strategy를 위와 같이 지정하면 토큰들이 하나로 합쳐진 엔터티에 대해 새롭게 계산된 스코어를 제시합니다. "simple"의 경우 스코어는 해당 개체명 내의 각 토큰에 대한 스코어의 평균입니다. 예를 들어, "Sylvain"의 스코어는 이전 예에서 S, ##yl, ##va 및 ##in 토큰에 대해 계산된 스코어의 평균입니다. 사용 가능한 다른 지정자는 다음과 같습니다:

• "first", 여기서 각 개체명의 스코어는 해당 개체명의 첫 번째 토큰의 스코어입니다(따라서 "Sylvain"의 경우 토큰 S의 점수인 0.993828이 됨).

• "max", 여기서 각 엔터티의 스코어는 해당 엔터티내의 토큰들 중의 최대값 스코어입니다("Hugging Face"의 경우 "Face"의 점수는 0.98879766이 됨).

• "average", 여기서 각 항목의 스코어는 해당 항목을 구성하는 단어(토큰이 아닙니다) 스코어의 평균입니다(따라서 "Sylvain"의 경우 "simple" 지정자와 차이가 없지만 "Hugging Face"의 점수는 0.9819이며 "Hugging"은 0.975이고 "Face"는 0.98879입니다).

이제 pipeline() 함수를 사용하지 않고 이러한 결과를 얻는 방법을 살펴보겠습니다!

입력(inputs)에서 예측(predictions)까지

먼저 입력을 토큰화하고 모델을 통해 전달해야 합니다. 이는 2장에서 설명한 내용과 동일하게 수행됩니다. AutoXxx 클래스를 사용하여 토크나이저와 모델을 인스턴스화한 후에 이를 예제에서 사용합니다:

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_checkpoint = "dbmdz/bert-large-cased-finetuned-conll03-english"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)

example = "My name is Sylvain and I work at Hugging Face in Brooklyn."
inputs = tokenizer(example, return_tensors="pt")
outputs = model(**inputs)

여기에서 AutoModelForTokenClassification을 사용하기 때문에 입력 시퀀스의 각 토큰에 대해 하나의 logits 세트를 얻습니다:

print(inputs["input_ids"].shape)
print(outputs.logits.shape)

19개의 토큰으로 구성된 1개의 시퀀스가 있는 배치(batch)가 있고 모델에는 9개의 서로 다른 레이블이 존재하므로 모델의 출력은 1 x 19 x 9의 모양을 갖습니다. text-classification 파이프라인과 마찬가지로 softmax 함수를 사용하여 해당 logits을 확률로 변환하고 argmax를 사용하여 예측 결과를 얻을 수 있습니다(softmax는 순서를 변경하지 않기 때문에 logits에 대해서 argmax를 취할 수 있습니다):

import torch

probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)[0].tolist()
predictions = outputs.logits.argmax(dim=-1)[0].tolist()
print(probabilities)
print(predictions)

model.config.id2label 속성에는 예측 결과를 확인하는데 사용할 수 있는 레이블에 대한 인덱스 매핑이 포함되어 있습니다:

model.config.id2label

위에서 보듯이 총 9개의 레이블이 있습니다. O는 개체명에 포함되지 않는 토큰에 대한 레이블("outside"를 나타냄)이고 각 개체명 유형, 즉 기타(miscellaneous), 인명(person), 기관명(organization), 지명(location) 각각에 대해 두 개의 레이블이 있습니다. 레이블 B-XXX는 토큰이 개체명 XXX의 시작 부분에 있음을 나타내고, 레이블 I-XXX는 토큰이 개체명 XXX의 내부에 있음을 나타냅니다. 예를 들어, 이전 예시에서 우리는 모델이 토큰 "S"를 B-PER(인명 개체명의 시작)으로 분류하고 "##yl", "##va" 및 "##in" 토큰을 I-PER(인명 개체명의 내부)로 분류하기를 기대했을 수도 있습니다.

그런데 위 결과에서 보는 바와 같이 4개 토큰 모두에 I-PER이라는 레이블을 부여했기 때문에 예측에 오류가 있다고 생각할 수 있지만 그렇지 않을 수도 있습니다. 실제로 이러한 B- 및 I- 레이블 표기 방식에는 IOB1 및 IOB2의 두 가지 형식이 있습니다. IOB2 형식(아래 그림에서 분홍색 태그)은 우리가 도입한 형식인 반면, IOB1 형식(파란색 태그)에서 B-로 시작하는 레이블은 동일한 유형의 인접한 두 엔터티를 구분하는 데만 사용됩니다. 우리가 사용하는 모델은 IOB1 형식을 사용하는 데이터셋에서 미세 조정되었으므로 "S" 토큰에 레이블 I-PER을 할당합니다.

이 맵을 사용하여 token-classification 파이프라인의 결과를 (거의 완전히) 재현할 준비가 되었습니다. O로 분류되지 않은 각 토큰의 점수와 레이블만 가져올 수 있습니다:

results = []
tokens = inputs.tokens()

for idx, pred in enumerate(predictions):
    label = model.config.id2label[pred]
    if label != "O":
        results.append(
            {"entity": label, "score": probabilities[idx][pred], "word": tokens[idx]}
        )
        
print(results)

이 결과는 이전 결과와 매우 유사하지만 한가지 차이점이 있습니다. 파이프라인은 또한 원본 문장에서 각 엔터티의 시작과 끝에 대한 정보를 제공했습니다. 여기에서 오프셋 매핑(offset mapping)이 작동합니다. 오프셋(offset)을 얻으려면 입력에 토크나이저를 적용할 때 return_offsets_mapping=True를 설정하기만 하면 됩니다:

inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
inputs_with_offsets["offset_mapping"]

각 튜플은 각 토큰에 해당하는 텍스트 범위이며, 여기서 (0, 0)은 특수 토큰용으로 예약되어 있습니다. 이전에 인덱스 5의 토큰이 "##yl"이고 해당 오프셋이 (12, 14)로 지정되어 있는 것을 보았습니다. 이 오프셋으로 슬라이싱을 하면:

example[12:14]

'##' 없이 적절한 텍스트 범위(text span)를 얻습니다.

이를 사용하여 이제 이전 결과의 재현(reproduction)을 완료할 수 있습니다:

results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets["offset_mapping"]

for idx, pred in enumerate(predictions):
    label = model.config.id2label[pred]
    if label != 'O':
        start, end = offsets[idx]
        results.append(
            {
                "entity": label,
                "score": probabilities[idx][pred],
                "word": tokens[idx],
                "start": start,
                "end": end,
            }
        )
        
print(results)

이 결과는 우리가 파이프라인 실행을 통해 얻은 결과와 동일합니다!

엔터티 그룹화

오프셋을 사용하여 각 엔터티의 시작 및 끝 키를 결정하는 것은 편리하지만 해당 정보가 꼭 필요한 것은 아닙니다. 그러나 엔터티 토큰을 그룹화하려는 경우 오프셋을 사용하면 지저분한 코드를 많이 절약할 수 있습니다. 예를 들어 Hu, ##gging 및 Face 토큰을 하나로 그룹화하려는 경우, 처음 두 토큰은 ## 없이 합쳐야 하고 Face는 ##로 시작하지 않으므로 앞에 공백을 추가하여 결합해야 한다는 특수 규칙을 만들어야 합니다. 그러나 이러한 규칙들은 특정 유형의 토크나이저에서만 작동합니다. SentencePiece 또는 Byte-Pair-Encoding 토크나이저(이 장의 뒷부분에서 설명)에서는 또다른 규칙 집합을 작성해야 합니다.

오프셋을 사용하면 모든 사용자 정의 코드가 사라집니다. 단지 첫 번째 토큰으로 시작하고 마지막 토큰으로 끝나는 원본 텍스트의 범위를 사용할 수 있습니다. 따라서 Hu, ##gging 및 Face 토큰의 경우, 이를 합치기 위해서 33번째 문자(Hu의 시작 부분)에서 시작하여 45번째 문자(Face의 끝 부분) 앞까지 슬라이싱을 해주면 됩니다:

example[33:45]

특정 엔터티에 포함된 토큰들을 그룹화하는 동안 예측 결과를 후처리하는 코드를 작성하기 위해 B-XXX 또는 I-XXX로 레이블이 지정될 수 있는 첫 번째 엔터티를 제외하고 연속적이고 I-XXX로 레이블이 지정된 엔터티를 함께 그룹화합니다. 따라서 O, 새로운 유형의 엔터티 또는 동일한 유형의 엔터티가 시작되고 있음을 알리는 B-XXX를 받으면 엔터티 그룹화를 중지합니다:

import numpy as np

results = []
inputs_with_offsets = tokenizer(example, return_offsets_mapping=True)
tokens = inputs_with_offsets.tokens()
offsets = inputs_with_offsets["offset_mapping"]

idx = 0
while idx < len(predictions):
    pred = predictions[idx]
    label = model.config.id2label[pred]
    if label != "O":
        # Remove the B- or I-
        label = label[2:]
        start, _ = offsets[idx]
        
        # Grab all the tokens labeled with I-label
        all_scores = []
        while (
            idx < len(predictions)
            and model.config.id2label[predictions[idx]] == f"I-{label}"
        ):
            all_scores.append(probabilities[idx][pred])
            _, end = offsets[idx]
            idx += 1
        
        # The score is the mean of all the scores of the tokens in that grouped entity
        score = np.mean(all_scores).item()
        word = example[start:end]
        results.append(
            {
                "entity_group": label,
                "score": score,
                "word": word,
                "start": start,
                "end": end,
            }
        )
    idx += 1

print(results)

이렇게 파이프라인 실행 결과와 동일한 결과를 얻습니다!

이 오프셋이 매우 유용하게 활용되는 또 다른 예는 질의 응답(question answering)입니다. 다음 섹션에서 파이프라인을 자세히 공부하면서 🤗Transformers 라이브러리에 있는 토크나이저의 마지막 기능인 입력을 주어진 길이로 자를 때 넘치는 토큰을 처리하는 방법을 살펴보겠습니다.