[Week 3-1] ๐ก๋ฅ ๋ฌ๋ ๊ธฐ์ด
3์ฃผ์ฐจ ์์์ผ
- ๋ฅ ๋ฌ๋ ๊ธฐ๋ณธ ์ฉ์ด
- ๋ฅ ๋ฌ๋์ ์ญ์ฌ
๐[๋ฅ ๋ฌ๋ ๊ธฐ๋ณธ ์ฉ์ด]
๋ฅ ๋ฌ๋์ ํ์ํ ๊ฒ์?
+ ๋ชจ๋ธ์ด ํ์ตํ ๋ฐ์ดํฐ
+ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ ๋ชจ๋ธ
+ ๋ชจ๋ธ์ด ์ ํ์ตํ๋์ง๋ฅผ ํ๊ฐํ๋ ์งํ์ธ ์์ค ํจ์
+ ์์ค ํจ์์ ๊ฐ์ด ์ค์ด๋ค๋๋ก ๋ชจ๋ธ ํ๋ผ๋ฏธํฐ๋ฅผ ์ต์ ํํ๋ ์๊ณ ๋ฆฌ์ฆ
- ์์ค ํจ์
์ค์ ๊ฐ๊ณผ ์์ธก๊ฐ์ ์ฐจ์ด๋ฅผ ๋ํ๋ด๋ ํจ์๋ก, ๋ชจ๋ธ์ ์ด๋ ๋ฐฉํฅ์ผ๋ก ํ์ต์ํฌ ๊ฒ์ธ๊ฐ, ์ด๋ป๊ฒ ์ ๋ฐ์ดํธํ ๊ฒ์ธ๊ฐ๋ฅผ ๊ฒฐ์ ํ๋ ์งํ- ํ๊ท ๋ฌธ์ : MSE (Mean Square Error)
- ๋ถ๋ฅ ๋ฌธ์ : CE (Crossentropy Error)
- ํ๋ฅ ๋ก ๋ฌธ์ : MLE (Maximum Likelyhood Error)
์์ค ํจ์๋ ์ฐ๋ฆฌ๊ฐ ์ด๋ฃจ๊ณ ์ ํ๋ ๋ชฉ์ ์ด ์๋๋ค
์์ค ํจ์๋ ๋ชฉํ๋ผ๊ธฐ๋ณด๋ค๋ ์ฒ๋์ด์ ๊ทผ์ฌ์น๋ค. ๋ฌธ์ ์ ๋ฐ๋ผ ์ ํ์ ์ธ ์์ค ํจ์๊ฐ ์์ง๋ง, ๋ฐ์ดํฐ ์ํฉ์ ๋ฐ๋ผ ๋ค๋ฅธ ์์ค ํจ์๋ฅผ ์ฌ์ฉํ๋ ๊ฒ ๋์ ์๋ ์๋ค.
ex) ์ ํ ํ๊ท ๋ชจ๋ธ์ ๋ง๋๋๋ฐ, ๋ฐ์ดํฐ์ ๋ ธ์ด์ฆ๊ฐ ๋ง์ ๊ฒฝ์ฐ
MSE๋ฅผ ์ฌ์ฉํ ๊ฒฝ์ฐ ๋ ธ์ด์ฆ๊ฐ ์ฆํญ๋ ์๋ ์๋ค. ์ด๋ด ๋๋ ์คํ๋ ค ์ ๋๊ฐ์ค์ฐจ๊ฐ ๋์ ์๋.
- ์ต์ ํ ์๊ณ ๋ฆฌ์ฆ
์์ค ํจ์๊ฐ ์ต์ํ๋๋ ๋ฐฉํฅ์ผ๋ก ๋ชจ๋ธ์ ๊ฐ์ค์น์ ๋ฐ์ด์ด์ค(ํ๋ผ๋ฏธํฐ)๋ฅผ ์ ๋ฐ์ดํธํ๊ณ , ๋ชจ๋ธ์ด ์ฒ์ ๋ณด๋ ๋ฐ์ดํฐ์์๋ ์ ๋์ํ ์ ์๋ ๋ฐฉํฅ์ผ๋ก ํ์ต์ํค๋ ์๊ณ ๋ฆฌ์ฆ.
์์ฆ์ ๋๊ฐ ์ด๋ ์ํฉ์ ์จ๋ ์ฑ๋ฅ์ด ๊ด์ฐฎ๊ฒ ๋์ค๋ Adam์ ์ฌ์ฉํ๋ค. Adam์ ๋ฑ์ฅ์ ์ฐ์ฐ ์์์ด ๋ถ์กฑํด์ ๋ค์ํ ์ต์ ํ ์๊ณ ๋ฆฌ์ฆ์ ์ผ์ผ์ด ํ ์คํธํด ๋ณผ ์ ์๋ ๊ฐ์ธ์ด๋ ์์ ์ฐ๊ตฌ์ค ์ ์ฅ์์๋ ํ๋ช ์ด์๋ค๊ณ ํ๋ค.
๐[๋ฅ ๋ฌ๋์ ์ญ์ฌ]
Deep Learning's Most Important Ideas - A Brief Historical Review
Denny Britz, 2020
-
2012 AlexNet
CNN ๊ตฌ์กฐ, ์ต์ด๋ก ๋ฅ ๋ฌ๋์ ์ด์ฉํด ImageNet ๋ํ 1๋ฑ -
2013 DQN
์ํ๊ณ ๋ฅผ ๊ฐ๋ฐํ DeepMind์ "Playing Atari with Deep Reinforcement Learning" ๋ ผ๋ฌธ์ ์๊ฐ๋ ๊ตฌ์กฐ, ๊ฐํ ํ์ต์ ๋ฑ์ฅ -
2014 Encoder/Decoder (Seq2Seq)
RNN ์ค ํ๋์ธ LSTM์ ์ด์ฉํจ. ๊ธฐ๊ณ ๋ฒ์ญ์ ์ํด ๊ณ ์๋ ๋ชจ๋ธ. -
2014 Adam Optimizer
์ด๋์ ์จ๋ ์ฌ๋งํ๋ฉด ์ ๋์๊ฐ๋ ์ต์ ํ ์๊ณ ๋ฆฌ์ฆ. -
2015 GAN
์ด๋ฏธ์ง๋ ํ ์คํธ๋ฅผ ์์ฑํ๋ ๋ชจ๋ธ. ์์ฑ/ํ๋ณ์ ์ํํ๋ ๋ ๊ฐ์ ๋ชจ๋ธ์ด ๊ฒฝ์์ ๋ฐ๋ณตํ๋ฉด์ ์ ์ ๋ ์ง์ง ๊ฐ์ ๊ฒฐ๊ณผ๋ฌผ์ ์์ฑํ๋ค. -
2015 ResNet
์ด์ ์ ๋ ์ด์ด๋ค์ ๋ค์ ์ด์ฉํด ๋คํธ์ํฌ๋ฅผ ๊น๊ฒ ์์๋ ๊ณผ์ ํฉ์ด ๋ฐ์ํ์ง ์๊ณ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์๋๋ก ํ CNN ๋ชจ๋ธ. -
2017 Transformer
2017๋ ๊ตฌ๊ธ์ด ๋ฐํํ "Attention is all you need" ๋ ผ๋ฌธ์ ์๊ฐ๋จ. ์ดํ ์ ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํด ์์ฐ์ด๋ฅผ ์ฒ๋ฆฌํ๋ ๋ชจ๋ธ. -
2018 BERT
fine-tuning์ ์ํ ์์ฐ์ด ์ฒ๋ฆฌ ๋ชจ๋ธ๋ก, ๋จ์ด์ฌ์ ์ BERT ๋ชจ๋ธ์ ์ ์ฉ, ๊ทธ ์ถ๋ ฅ์ ๋ค๋ฅธ ์์ฐ์ด ์ฒ๋ฆฌ ๋ชจ๋ธ์ ์ ๋ ฅ์ผ๋ก ์ฌ์ฉํ๋ค. -
2019 GPT-3
์ธ๊ฐ๊ณผ ์ ์ฌํ ํ ์คํธ๋ฅผ ์์ฑํ๋ ๋์ฉ๋ ์ธ์ด ์ฒ๋ฆฌ ๋ชจ๋ธ. -
2020 SimCLR
Self-supervised learning(์๊ธฐ์ง๋ํ์ต)์ด ๊ฐ๋ฅํ ๋ชจ๋ธ๋ก, unlabeled ๋ฐ์ดํฐ๋ฅผ ํ์ต์ ์ฌ์ฉํ ์ ์๋ค.
๐จโ๐ฉโ๐งโ๐ฆ[ํผ์ด ์ธ์ ]
์ง๋ ์ฃผ์ ํ์๋ค๊ณผ ํ์ํ ๋๋ก ์ค๋์ 5์์ ์์ํ๋ค. ๊ฐ์ ๋ด์ฉ์ ์ ๋ถ ์ํํ๊ณ ๋ง๋๋ ค๊ณ ํ์ง๋ง colab๊ณผ vs code๋ฅผ ์ฐ๋ํ๋ ๋ฐ ์๊ฐ์ ์์ฒญ๋๊ฒ ์จ ๋ฒ๋ ค์ ๊ฐ์๋ฅผ ๋ง์ด ๋ฃ์ง ๋ชปํ๋ค. ๋ถ๋ช ๋จ๊ณ๋ณ๋ก ๋ฐ๋ผ ํ๋๋ฐ... ํ์ฐธ ์จ๋ฆํ๋ค๊ฐ ์์ ๋ค ์ญ์ ํ๊ณ ๋ค์ ๊น์์ ๋๊ธด ๋๋ค.
Author And Source
์ด ๋ฌธ์ ์ ๊ดํ์ฌ([Week 3-1] ๐ก๋ฅ ๋ฌ๋ ๊ธฐ์ด), ์ฐ๋ฆฌ๋ ์ด๊ณณ์์ ๋ ๋ง์ ์๋ฃ๋ฅผ ๋ฐ๊ฒฌํ๊ณ ๋งํฌ๋ฅผ ํด๋ฆญํ์ฌ ๋ณด์๋ค https://velog.io/@zeen263/Week-3-1-๋ฅ-๋ฌ๋-๊ธฐ์ด์ ์ ๊ท์: ์์์ ์ ๋ณด๊ฐ ์์์ URL์ ํฌํจ๋์ด ์์ผ๋ฉฐ ์ ์๊ถ์ ์์์ ์์ ์ ๋๋ค.
์ฐ์ํ ๊ฐ๋ฐ์ ์ฝํ ์ธ ๋ฐ๊ฒฌ์ ์ ๋ (Collection and Share based on the CC Protocol.)
์ข์ ์นํ์ด์ง ์ฆ๊ฒจ์ฐพ๊ธฐ
๊ฐ๋ฐ์ ์ฐ์ ์ฌ์ดํธ ์์ง
๊ฐ๋ฐ์๊ฐ ์์์ผ ํ ํ์ ์ฌ์ดํธ 100์ ์ถ์ฒ ์ฐ๋ฆฌ๋ ๋น์ ์ ์ํด 100๊ฐ์ ์์ฃผ ์ฌ์ฉํ๋ ๊ฐ๋ฐ์ ํ์ต ์ฌ์ดํธ๋ฅผ ์ ๋ฆฌํ์ต๋๋ค