중복제거 [Aiffel] 아이펠 63일차 개념 정리 및 회고 1) 언어 모델 발전 양상 통계적 모델 신경망 모델 3. 빈도수가 높지만 의미없는 단어의 영향을 받을 가능성이 큼 모델 설계 <PAD>가 패딩을 위한 토큰이라고 명시하지 않을 경우 모델이 답안을 <PAD>로만 구성할 확률이 높아짐: mask를 사용해 해결, pad 토큰에 대한 loss는 구하지 않도록 함 중복 제거하면서 짝을 유지하는 방법: set, zip 활용 LSTM을 이용한 Encode... 중복제거통계적 모델번역언어모델Seq2SeqSeq2Seq
[Aiffel] 아이펠 63일차 개념 정리 및 회고 1) 언어 모델 발전 양상 통계적 모델 신경망 모델 3. 빈도수가 높지만 의미없는 단어의 영향을 받을 가능성이 큼 모델 설계 <PAD>가 패딩을 위한 토큰이라고 명시하지 않을 경우 모델이 답안을 <PAD>로만 구성할 확률이 높아짐: mask를 사용해 해결, pad 토큰에 대한 loss는 구하지 않도록 함 중복 제거하면서 짝을 유지하는 방법: set, zip 활용 LSTM을 이용한 Encode... 중복제거통계적 모델번역언어모델Seq2SeqSeq2Seq