logits [🤗 강좌 2.2] Pipeline 내부 실행 과정 다른 신경망(neural networks)과 마찬가지로 Transformer 모델은 원시 텍스트를 직접 처리할 수 없으므로 파이프라인의 첫번째 단계는 텍스트 입력을 모델이 이해할 수 있는 숫자로 변환하는 것입니다. 일단 위와 같이 토크나이저(tokenizer)를 생성하면, 아래의 코드에서 보는 것처럼, 이 토크나이저에 문장을 입력하여 모델에 바로 전달할 수 있는 파이썬 딕셔너리(diction... 파이프라인logitstokenizertransformerslogits
[🤗 강좌 2.2] Pipeline 내부 실행 과정 다른 신경망(neural networks)과 마찬가지로 Transformer 모델은 원시 텍스트를 직접 처리할 수 없으므로 파이프라인의 첫번째 단계는 텍스트 입력을 모델이 이해할 수 있는 숫자로 변환하는 것입니다. 일단 위와 같이 토크나이저(tokenizer)를 생성하면, 아래의 코드에서 보는 것처럼, 이 토크나이저에 문장을 입력하여 모델에 바로 전달할 수 있는 파이썬 딕셔너리(diction... 파이프라인logitstokenizertransformerslogits