๐ฉ๐ปโ๐ปStandford CS231N Deep Learning -2
2020/09/05 ๊นํ ๋ธ๋ก๊ทธ ๊ธฐ๋ก
2. Image Classification
Image Classification์ ์ด๋ ค์ด ์
- semantic gap : ์ฌ์ง์ ์ด๋ฏธ์ง๋ก ๋ณด๋๊ฒ ์๋๋ผ ํฝ์
์ ์ซ์๋ก ๋ด
- viewpoint variation
- background clutter
- Illumination : ๋ฐ๊ธฐ๋ ์์
- occlusion : ๋ค๋ฅธ ์ฌ๋ฌผ์ ๊ฐ๋ ค์ ธ ๊ตฌ๋ถ์ด ํ๋ ๊ฒฝ์ฐ
- deformation
- intracalss variation : ๊ฐ์ ์ข
๋ฅ์ง๋ง ๋ค ๋ค๋ฅธ ์๊น์
image ์์ edge๋ฅผ ์ถ์ถํ๋ ๋ฐฉํฅ์ ์๊ฐํ์ง๋ง, ๋๋ฌด ๋ถ์์ ํ๊ณ ์ผ์ด์ค๊ฐ ๋ค์ํด ๋นํจ์จ์ด์๋ค.
๊ทธ๋์ data-driven approach๋ก ์ด๋ฏธ์ง์
์ ๋ผ๋ฒจ๋งํ๊ณ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ํ๋ จ์์ผ ์ ์ด๋ฏธ์ง๋ฅผ ๊ตฌ๋ถํด๋ด๊ฒ ํ๋ค.
- CIFAR10 data set
- 10 classes
- 50,000 trn-img
- 10,000 tst-img
- 32*32 piexel
Nearest Neighbor
-
L1 distance (Manhattan)
- Train O(1) , Predict O(N) -> **ํ๋ จ์ ๋๋ฆฌ๊ฒํ๊ณ , ์์ธก์ ๋น ๋ฅด๊ฒ ํ ์ ์์๊น?**
-
KNN
- majority vote -
L2 distance (Euclidean)
-
Hyper-parameter
- ์ฐ๋ฆฌ๊ฐ ์๊ณ ๋ฆฌ์ฆ์ ์ํด ์ ํํ ๊ฒ
- problem dependent -> try and pick!
- k, distance matrix...
- data set -> train, validation, test ๋ก ๋๋ ์ ์ฌ์ฉ
1. train์ผ๋ก ์ฌ๋ฌ ๋ชจ๋ธ๋ค์ ํ์ตํ๋ค(ํ์ดํผ ํ๋ผ๋ฏธํฐ๋ฅผ ๋ค๋ฅด๊ฒ ํด์)
2. vaildaion์ผ๋ก ๊ฐ์ฅ ๋์ ๋ชจ๋ธ์ ๊ณ ๋ฅธ๋ค
3. test๋ก ๊ทธ ๋ชจ๋ธ์ ํ๊ฐํ๋ค.
- cross-validation
์ด ์์๋ five fold
- fold๋ฅผ ๋์๊ฐ๋ฉฐ ํ๋์ฉ validation์ ์ฌ์ฉํด์ ํจ์จ์ฑ ๋์ด๊ธฐ
- ๋ฅ๋ฌ๋์์๋ ๋ฐ์ดํฐ๊ฐ ํฌ๊ธฐ ๋๋ฌธ์ ์ ์ฌ์ฉํ์ง ์๋๋ค
-์ฅ validation ์ฌ๋ฌ๋ฒ ํ๋๊ฒ ์ฅ์ ์ธ๊ฑด๊ฐ?
Linear Classification
- parametric model
- W, weight
-
- (b๋ bias)
(CIFAR10 linear classifiacation์ W)
๊ผผ์ง๋ฝ
knn ์๊ณ ๋ฆฌ์ฆ์ ๋จธ์ ๋ฌ๋์ผ๋ก ํ๊ต์์ ์ด๋ฏธ ๋ฐฐ์ด๊ฑฐ๋ผ ๋ณต์กํ์ง ์๊ฒ ๋ค์๋๋ฐ, cross validation์ด ์กฐ๊ธ ํท๊ฐ๋ ค์ ๋ ์ฐพ์๋ด์ผ๊ฒ ๋ค.
L2๋ฅผ ์ด๋ฏธ์ง ๋น๊ต์ ์ฌ์ฉํ๋ค๋๊ฒ ์ดํด๊ฐ ๊ณ์ ์๋๋๋ฐ, ๋ง์ง๋ง์ ๊ต์๋์ด KNN์ ์ด๋ฏธ์ง์ ์ฌ์ฉํ์ง ์๋ ์๊ณ ๋ฆฌ์ฆ์ด๋ผ๊ณ ํด์ ๊ทธ๋ฅ ๊ทธ๋ง ์๊ฐํด๋ณด๊ธฐ๋ก ํ๋ค. ํฝ์
์ ๋น์ทํจ์ L2๋ก....
๋ค ๋ฃ๊ณ ๋์ ๋ณด๋๊น notes๊ฐ ์์ธํ ์ ๋์์์ด์ ๋ค์๋ถํฐ๋ ๊ฐ์๋ ๊ทธ๋ฅ ์ง์คํด์ ๋ฃ๊ณ , ๋
ธํธ๋ฅผ ์ฝ์ด์ผ๊ฒ ๋ค! ๊ณผ์ ํ๊ณ , ์์ผ์ง!
Author And Source
์ด ๋ฌธ์ ์ ๊ดํ์ฌ(๐ฉ๐ปโ๐ปStandford CS231N Deep Learning -2), ์ฐ๋ฆฌ๋ ์ด๊ณณ์์ ๋ ๋ง์ ์๋ฃ๋ฅผ ๋ฐ๊ฒฌํ๊ณ ๋งํฌ๋ฅผ ํด๋ฆญํ์ฌ ๋ณด์๋ค https://velog.io/@twinklesu914/Standford-SC231N-Deep-Learning-2์ ์ ๊ท์: ์์์ ์ ๋ณด๊ฐ ์์์ URL์ ํฌํจ๋์ด ์์ผ๋ฉฐ ์ ์๊ถ์ ์์์ ์์ ์ ๋๋ค.
์ฐ์ํ ๊ฐ๋ฐ์ ์ฝํ ์ธ ๋ฐ๊ฒฌ์ ์ ๋ (Collection and Share based on the CC Protocol.)
์ข์ ์นํ์ด์ง ์ฆ๊ฒจ์ฐพ๊ธฐ
๊ฐ๋ฐ์ ์ฐ์ ์ฌ์ดํธ ์์ง
๊ฐ๋ฐ์๊ฐ ์์์ผ ํ ํ์ ์ฌ์ดํธ 100์ ์ถ์ฒ ์ฐ๋ฆฌ๋ ๋น์ ์ ์ํด 100๊ฐ์ ์์ฃผ ์ฌ์ฉํ๋ ๊ฐ๋ฐ์ ํ์ต ์ฌ์ดํธ๋ฅผ ์ ๋ฆฌํ์ต๋๋ค