[🤗 강좌 1.3] 🤗Transformers가 할 수 있는 것들...

이 섹션에서는 트랜스포머 모델이 무엇을 할 수 있는지 살펴보고, 🤗Transformers 라이브러리의 첫 번째 도구인 pipeline() 함수를 사용해볼 것입니다.

Transformers are everywhere!

트랜스포머 모델은 이전 섹션에서 언급한 모든 종류의 NLP 작업을 해결하는 데 사용됩니다. 다음은 Hugging Face 및 트랜스포머 모델을 사용하는 몇몇 회사 및 조직들을 보여주고 있습니다. 이들은 자신들이 만든 모델들을 공유하여 커뮤니티에 다시 기여합니다

🤗Transformers 라이브러리는 공유된 모델을 만들고 사용할 수 있는 다양한 기능들을 제공합니다. Model Hub에는 누구나 다운로드하여 사용할 수 있는 수천 개의 사전 학습된 모델(pretrained models)들이 포함되어 있습니다. 또한 자신의 모델을 허브에 업로드할 수도 있습니다!

⚠️ The Hugging Face Hub는 트랜스포머 모델에만 국한하지 않습니다. 누구나 원하는 모든 종류의 모델이나 데이터셋(datasets)을 공유할 수 있습니다! 사용 가능한 모든 기능을 활용하려면 huggingface.co 계정을 만드세요!

트랜스포머 모델이 내부적으로 어떻게 작동하는지 알아보기 전에 몇 가지 흥미로운 NLP 문제를 해결하는 데 사용할 수 있는 몇 가지 예를 살펴보겠습니다.

Working with pipelines

🤗Transformers 라이브러리의 가장 기본적인 객체는 pipeline() 함수입니다. 이 함수는 특정 모델과 동작에 필요한 전처리 및 후처리 단계를 연결하여 텍스트를 직접 입력하고 이해하기 쉬운 답변을 얻을 수 있습니다.

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")

여러 개의 문장을 동시에 입력으로 전달할 수도 있습니다!

classifier(["I've been waiting for a HuggingFace course my whole life.",
            "I hate this so much!"])

기본적으로 이 파이프라인은 영어 문장에 대한 감정 분석(sentiment analysis)을 위해 미세 조정된(fine-tuned) 사전 훈련 모델(pretrained model)을 선택합니다. 위 코드에서 classifier 객체를 생성할 때 해당 모델이 다운로드되고 캐시됩니다. 생성된 classifier 객체를 다시 실행하면 캐시된 모델이 대신 사용되며 모델을 다시 다운로드할 필요가 없습니다.

파이프라인에 텍스트가 입력되면 3가지 주요 단계가 내부적으로 실행됩니다.

1. 텍스트는 모델이 이해할 수 있는 형식으로 전처리됩니다(preprocessing).
2. 전처리 완료된 입력 텍스트는 모델에 전달됩니다.
3. 모델이 예측한 결과는 후처리되어(postprocessing) 우리가 이해할 수 있는 형태로 변환됩니다.

현재 활용 가능한 몇 가지 파이프라인들은 다음과 같습니다:

• feature-extraction (텍스트에 대한 벡터 표현 제공)
• fill-mask
• ner (named entity recognition, 개체명 인식)
• question-answering
• sentiment-analysis
• summarization
• text-generation
• translation
• zero-shot-classification

이 중 몇 가지를 살펴보겠습니다!

Zero-shot classification

우선, 레이블이 지정되지 않은 텍스트를 분류해야 하는 더 어려운 작업부터 시작하겠습니다. 텍스트에 주석(annotation)을 추가하는 것은 일반적으로 시간이 많이 걸리고 분야 전문 지식(domain expertise)이 필요하기 때문에 이 작업은 실제 프로젝트에서 매우 흔한 시나리오입니다. 이 활용 사례의 경우, zero-shot-classification 파이프라인은 매우 유용합니다. 그 이유는 해당 분류에 사용할 레이블을 직접 마음대로 지정할 수 있으므로 사전 훈련된 모델의 레이블 집합에 의존할 필요가 없기 때문입니다. 이미 우리는 해당 모델이 두 레이블(긍정, 부정)을 사용하여 문장을 긍정 또는 부정으로 분류하는 방법을 이미 보았습니다. 그러나 이 모델을 이용해서 우리가 원하는 또 다른 레이블 집합을 사용하여 텍스트를 분류할 수도 있습니다.

from transformers import pipeline

classifier = pipeline("zero-shot-classification")
classifier(
    "This is a course about the Transformers library",
    candidate_labels=["education", "politics", "business"],
)

위와 같이 완전히 다른 새로운 레이블 집합으로 문장 분류를 수행할 때도 새로운 데이터를 이용해서 모델을 미세 조정(fine-tuning)할 필요가 없기 때문에 zero-shot 분류라고 합니다. 위 예시에서 보는 바와 같이 원하는 레이블 목록에 대한 확률 점수를 직접 반환할 수도 있습니다!

Text generation

이제 파이프라인을 사용하여 텍스트를 생성하는 방법을 살펴보겠습니다. 여기서 주요 아이디어는 입력으로 특정 프롬프트(prompt)를 제공하면 모델이 나머지 텍스트를 생성하여 프롬프트를 자동 완성한다는 것입니다. 이것은 전화기에서 볼 수 있는 텍스트 예측 기능(predictive text feature)과 유사합니다. 텍스트 생성은 랜덤하게 수행되므로 여러분의 출력이 아래 결과와 다르게 나오는 것은 정상입니다.

from transformers import pipeline

generator = pipeline("text-generation")
generator("In this course, we will teach you how to")

위의 generator 객체에 num_return_sequences 인자(argument)를 지정하여 생성되는 시퀀스의 개수를 정할 수 있고, max_length 인자로는 출력 텍스트의 총 길이를 제어할 수 있습니다.

Using any model from the Hub in a pipeline

이전 예제에서는 현재 작업에 대한 기본적인 모델(default model)을 사용했지만 허브에서 여러분이 원하는 모델을 선택하여 특정 작업(예: 텍스트 생성)에 대한 파이프라인에서 사용할 수도 있습니다. 모델 허브(Model Hub)로 이동하여 왼쪽에 있는 특정 태그를 클릭하면 관련 작업을 지원하는 모델만 표시됩니다. 그 결과는 이 페이지에서 볼 수 있습니다.

자 이제 distilgpt2 모델을 사용해 봅시다! 파이프라인에서 이 모델을 로드하는 방법은 다음과 같습니다.

from transformers import pipeline

generator = pipeline("text-generation", model="distilgpt2")    # distilgpt2 모델을 로드한다.
generator(
    "In this course, we will teach you how to",
    max_length=30,
    num_return_sequences=2,
)

언어 태그(language tags)를 클릭하여 그 언어에 특화된 모델을 세부적으로 검색하고 선택함으로써 원하는 언어로 표현된 텍스트를 생성할 수 있는 모델을 사용할 수 있습니다. Model Hub에는 다중 언어를 지원하는 다국어 모델(multilingual models)에 대한 체크포인트도 포함되어 있습니다.

특정 모델을 클릭하여 선택하면 온라인에서 직접 테스트할 수 있는 위젯(widget)이 표시됩니다. 이렇게 하면 다운로드하기 전에 그 모델의 기능을 빠르게 테스트할 수 있습니다.

The Inference API

모든 모델은 Hugging Face 웹사이트에서 제공되는 Inference API를 사용하여 브라우저를 통해 직접 테스트할 수 있습니다. 이 페이지에서 직접 임의의 텍스트를 입력하고 모델이 해당 텍스트를 처리하는 것을 살펴보면서 모델들을 테스트해 볼 수 있습니다.

위젯을 구동하는 Inference API는 유료 제품으로도 제공되므로 실무적으로도 편리하게 사용 가능합니다. 자세한 내용은 가격 책정 페이지를 참조하세요.

Mask filling

다음으로 시도할 파이프라인은 fill-mask 입니다. 이 작업은 주어진 텍스트의 공백을 채우는 것입니다.

from transformers import pipeline

unmasker = pipeline("fill-mask")
unmasker("This course will teach you all about <mask> models.", top_k=2)

top_k 인자(argument)는 출력할 공백 채우기 종류의 개수를 지정합니다. 여기서 모델은 마스크 토큰(mask token) 이라고 부르는 특수한 <mask> 단어를 채웁니다. 마스크 채우기(mask-filling) 모델에 따라 서로 다른 마스크 토큰을 요구할 수 있으므로 다른 모델을 탐색할 때 항상 해당 마스크 토큰을 확인하는 것이 좋습니다. 이를 확인하는 한 가지 방법은 위젯에 사용된 마스크 토큰을 살펴보는 것입니다.

Named entity recognition

개체명 인식(NER, Named Entity Recognition)은 입력 텍스트에서 어느 부분이 사람, 위치 또는 조직과 같은 개체명에 해당하는지 식별하는 작업입니다. 예를 살펴보겠습니다.

from transformers import pipeline

ner = pipeline("ner", grouped_entities=True)
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")

여기서 모델은 "Sylvain"이 사람(PER)이고 "Hugging Face"가 조직(ORG)이며 "Brooklyn"이 위치(LOC)임을 올바르게 식별했습니다.

파이프라인 생성 함수에서 grouped_entities=True 옵션을 전달하여 파이프라인이 동일한 엔티티에 해당하는 문장의 부분(토큰 혹은 단어)들을 그룹화하도록 지시합니다. 여기서 모델은 "Hugging"과 "Face"를 단일 조직(ORG)으로 올바르게 그룹화했지만 이름 자체는 여러 단어로 구성됩니다. 사실, 다음 장에서 보게 되겠지만, 전처리 과정에서 심지어 일부 단어를 더 작은 부분으로 나눌 수도 있습니다. 예를 들어 Sylvain은 S, ##yl, ##va 및 ##in의 네 부분으로 나뉩니다. 후처리 단계에서 파이프라인은 해당 조각을 성공적으로 재그룹화했고, 그 결과로 "Sylvain"이 단일 단어로 출력되고 있습니다.

Question Answering

question-answering 파이프라인은 주어진 컨텍스트(context) 정보를 사용하여 입력 질문에 응답을 제공합니다.

from transformers import pipeline

question_answerer = pipeline("question-answering")
question_answerer(
    question="Where do I work?",
    context="My name is Sylvain and I work at Hugging Face in Brooklyn",
)

이 파이프라인은 제공된 컨텍스트에서 정보를 추출하여 작동합니다. 응답을 새롭게 생성하지는 않습니다.

Summarization

요약(summarization)은 텍스트에 존재하는 모든(또는 대부분의) 중요한 내용을 유지하면서 해당 텍스트를 더 짧은 텍스트로 줄이는 작업입니다. 예를 살펴보겠습니다.

from transformers import pipeline

summarizer = pipeline("summarization")
summarizer(
    """
    America has changed dramatically during recent years. Not only has the number of 
    graduates in traditional engineering disciplines such as mechanical, civil, 
    electrical, chemical, and aeronautical engineering declined, but in most of 
    the premier American universities engineering curricula now concentrate on 
    and encourage largely the study of engineering science. As a result, there 
    are declining offerings in engineering subjects dealing with infrastructure, 
    the environment, and related issues, and greater concentration on high 
    technology subjects, largely supporting increasingly complex scientific 
    developments. While the latter is important, it should not be at the expense 
    of more traditional engineering.

    Rapidly developing economies such as China and India, as well as other 
    industrial countries in Europe and Asia, continue to encourage and advance 
    the teaching of engineering. Both China and India, respectively, graduate 
    six and eight times as many traditional engineers as does the United States. 
    Other industrial countries at minimum maintain their output, while America 
    suffers an increasingly serious decline in the number of engineering graduates 
    and a lack of well-educated engineers.
    """
)

텍스트 생성과 마찬가지로 옵션으로 결과에 대해 max_length 또는 min_length 지정이 가능합니다.

Translation

번역(Translation)의 경우 작업(task) 이름에 언어 쌍(예: "translation_en_to_fr")을 지정하면 시스템에서 기본적으로 제공하는 모델(default model)을 사용할 수 있지만 가장 쉬운 방법은 Model Hub에서 사용하려는 모델을 선택하는 것입니다. 아래 예시에서 프랑스어에서 영어로 번역을 시도해 보겠습니다.

from transformers import pipeline

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
translator("Ce cours est produit par Hugging Face.")

텍스트 생성 및 요약과 마찬가지로 옵션으로 결과에 대해 max_length 또는 min_length 지정이 가능합니다.

지금까지 살펴본 파이프라인은 대부분 데모용입니다. 특정 작업(specific tasks)을 위해 프로그래밍되었으며 변형된 작업이나 더 복잡한 작업은 수행할 수 없습니다. 다음 섹션에서는 pipeline() 함수 내부에 어떠한 기능 및 동작들이 존재하고 그것들을 어떻게 변경할 수 있는지에 대해서 알아보겠습니다.