transformer [NLP]Transformer : Attention is all you need 샅샅이 파헤치기 Transformer로 비약적인 성능 향상 이룩 → 이후 Attention 기법을 많이 사용하게 됨 Attention 이후에는 입력 sequence 전체에서 정보를 추출하는 방향으로 발전 source 문장의 output h1 h2 h3 h4 를 모두 참고하겠다 → weighted sum 이 network에 적용 → Attention hj : encoder part의 각각의 hidden sta... 딥러닝transformer논문NLPNLP Transformer -1- Dot product Attention을 위해서는 Encoder의 Hidden state(h)와 Decoder의 Hidden state함수(s)가 얼마나 유사한지를 표현하기 위한 내적으로 시작 Positional Encoding : 'Sequence 내 해당 정보의 위치 정보'와 'Embedding된 데이터'를 사인함수와 코사인함수 형태로 만들어 다음 Layer의 Input으로 전달 Mult... 인공지능transformerAIAI
[NLP]Transformer : Attention is all you need 샅샅이 파헤치기 Transformer로 비약적인 성능 향상 이룩 → 이후 Attention 기법을 많이 사용하게 됨 Attention 이후에는 입력 sequence 전체에서 정보를 추출하는 방향으로 발전 source 문장의 output h1 h2 h3 h4 를 모두 참고하겠다 → weighted sum 이 network에 적용 → Attention hj : encoder part의 각각의 hidden sta... 딥러닝transformer논문NLPNLP Transformer -1- Dot product Attention을 위해서는 Encoder의 Hidden state(h)와 Decoder의 Hidden state함수(s)가 얼마나 유사한지를 표현하기 위한 내적으로 시작 Positional Encoding : 'Sequence 내 해당 정보의 위치 정보'와 'Embedding된 데이터'를 사인함수와 코사인함수 형태로 만들어 다음 Layer의 Input으로 전달 Mult... 인공지능transformerAIAI