Paper Transformer(NIPS2017) GPT: Decoder of Transformer BERT: Encoder of Transformer : Context vector에 문장 정보 압축 -> 병목 현상 발생하여 성능하락. : 디코터가 context vector 매번 참고 -> 정보 손실 줄어든다(허나, 하나의 벡터로 압축) : 즉, context vector가 너무 많은 정보를 갖고 있기에 성능 저하를 일으킴. 해결 방안: 최... PaperPaper
Transformer(NIPS2017) GPT: Decoder of Transformer BERT: Encoder of Transformer : Context vector에 문장 정보 압축 -> 병목 현상 발생하여 성능하락. : 디코터가 context vector 매번 참고 -> 정보 손실 줄어든다(허나, 하나의 벡터로 압축) : 즉, context vector가 너무 많은 정보를 갖고 있기에 성능 저하를 일으킴. 해결 방안: 최... PaperPaper