cs231n [CS231n] [EECS 498-007 / 598-005] 강의정리 - 8강(EECS 9강) Deep Learning Software gpu는 수천개의 코어를 갖고 있다. 많은 수의 dot product를 모두 병렬로 수행할 수 있다. Model과 Model weights는 GPU RAM에 있지만, 실제 train data는 하드디스크 등에 존재하므로 이를 불러올 때 보틀넥이 생길 수 있다. 따라서 데이터셋이 작은 경우에 이들을 모두 RAM에 올려놓을 수도 있고, cpu의 다중스레드를 사용ㅇ해서 RAM에 미리 올려놓을 수 ... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005 [EECS 498-007 / 598-005] 강의정리 - 8강(CS231n 9강) CNN Architectures Number of floating point operations =(number of output elements)×(ops per output elem)=(C+out×H′×W′)×(Cin ×K×K)=(64×56×56)×(3×11×11)=200.704×363=72,855,552 Conv(5x5, C->C) Conv(3x3, C->C) Conv(3x3, C->C) 만약 두 3x3 conv l... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005 [CS231n] 강의정리 - 7강 Training Neural Networks, Part2 첫번째처럼 local minima에서 gradient가 0이 되어 갇히거나, 두번째처럼 saddle point에서 gradient가 0이되어 멈출 수 있다. 이를 통해 진행되는 방향에 관성을 줄 수 있다. 즉, local minima이거나 saddle points에서 gradient=0이 되어도 계속 진행할 수 있다. 만약 convex case가 아니라 saddle point같은 경우에는 멈... cs231ncs231n [CS231n] 강의정리 - 6강 Training Neural Networks, Part 1 x가 -10이나 10이 되면 gradient는 0이 되어버려 이 값이 backprop된다면 0이 전달되어 gradient가 사라진다. Sigmoid outputs are not zero-centered 즉, 우리가 원하는 방향은 파란색 화살표이지만, 모든 w가 양수의 방향 또는 음수의 방향으로밖에 이동할 수 밖에 없기 때문에 최적의 w를 구하는데 더 오랜 시간이 걸린다. DATA CLOUD(... cs231ncs231n [ DeepML-CS231n ] Lec. 07 Training Neural Networks - II Problem with SGD What if loss changes quickly in one direction and slowly in another? Local minima or plateau or saddle point: zero gradient or gradient descent / saddle points much more common in high dimension The grad... cs231ncs231n 👩🏻💻Standford CS231N Deep Learning -3 W의 각 행은 class의 classifier로 생각하거나 각 class의 template (prototype)으로 생각할 수 있다 Wx+b 에서 (W,b)쌍을 기억하기 보단, x의 첫 col에 1을 추가하고, W와 b를 한 matrix로 저장하는 것. loss function = cost function = objective function loss 값이 작을 수록 좋다 Multiclass... cs231n딥러닝cs231n 👩🏻💻Standford CS231N Deep Learning -2 2020/09/05 깃헙 블로그 기록 semantic gap : 사진을 이미지로 보는게 아니라 픽셀의 숫자로 봄 viewpoint variation background clutter Illumination : 밝기나 음영 occlusion : 다른 사물에 가려져 구분이 힘든 경우 deformation intracalss variation : 같은 종류지만 다 다른 생김새 image 에서 ed... cs231n딥러닝cs231n CS231n - lecture 4: backpropagation and nueral networks 그리고 우리는 hinge loss라는 다른 계산 노드를 가지고 있습니다. x,y에 대한 덧셈 노드를 보실 수 있으며 오른쪽에는 다음 연산을 위한 곱셈 노드도 가지고 있습니다. 우리는 출력의 f에 대한 gradient()를 계산하길 원합니다.그리고 이 gradient는 1입니다, 어떻게 할 수 있을까요?이 경우 우리는 다시한번 chain rule을 적용할 수 있습니다. 그리고 이 노드에서 우리... cs231ncs231n [cs231n] Lecture 03 Loss function - 1 한 이미지의 Loss(L_i)를 구하기 위해, 정답 클래스를 제외한 나머지 클래스(오답 클래스들)의 Loss들을 모두 더하는 방식입니다. 2) 만약 정답 클래스의 스코어가 오답 클래스의 스코어보다 더 높으면, 정답 클래스의 스코어가 다른 오답 스코어보다 훨씬 크다는 것을 의미합니다. 고양이 클래스의 스코어가 자동차(개구리) 클래스의 스코어보다 1 이상 크면, 고양이 클래스의 스코어가 자동차(... cs231ncs231n [CS231n 정리] 7. Training Neural Networks 2 아래 식을 보면 기존 SGD와 다르게 vx와 rho 값을 사용하는 것을 볼 수 있습니다. 이러한 경우 이 값이 분모에 있기 때문에 update step에서 값이 튀어서 이상한 곳으로 튀어 버릴 수 있다고 합니다. 그리고 이 learning rate decay는 second order hyperparameter라고 합니다. 하지만 이 방법은 mini Batch를 사용하지 못해서 실제로 적용하기... ML/DLcs231nML/DL [CS231n 정리] 8. Deep Learning Software 아래 그림을 보시면 CPU는 높은 clock 속도를 가지지만 GPU는 CPU와 비교할 수 없는 Core 수를 가지고 있는 것을 볼 수 있습니다. 파라미터 값인 (w1, w2)에 대해서는 gradient가 필요하여 requires_grad=True로 설정한 것을 볼 수 있습니다. 먼저 learing_rate 값을 설정한뒤에 500번 반복 학습하는 것을 볼 수 있습니다. 고로 값이 0이 아닌 경... ML/DLcs231nML/DL cs231-assignment2-총괄-코드 cs231-assignment2-총결산 dx는 x모양과 같이 모두 0인 행렬로 dx리 x>0의 위치를 1 로 설정합니다. dx의 형상을 x의 형상으로 바꾸기 batch norm은 특징값에 대한 귀일화이지 이미지에 대한 귀일화가 아니다 계산된 사다리를 먼저 간소화한 다음에 코드로 써서 계산량을 줄인다 mask np의 제로 작업 볼륨 네트워크의 input은 N 개,batch output도 N 개... cs231n [CS231N] 실습1. KNN Image Classification의 방법 중 K-Nearest-Neighbor에 대해 실습을 진행하였습니다. 실행 결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 최적의 K값으로 Predict하였으나, 정확도가 10% 밖에 나오지 않았다. Train Data와 Test Data 사이의 L2 Distance를 기준으로 K개의 인접 Data들을 참조하여 Class... cs231nComputer Visionstudy memoComputer Vision 한 문장으로 정리하는 computer vision (3) numerical gradient 계산방법 업데이트할 때, gradient df의 negative direction으로 움직인 것을 주목하자. analytic gradient 계산방법 따라서 analytic gradient으로 구한 다음 numerical gradient으로 비교하며 고치는 과정수행하며, 이를 gradient check라고 한다. L_i = \sum_{j\neq y_i} \l... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005
[CS231n] [EECS 498-007 / 598-005] 강의정리 - 8강(EECS 9강) Deep Learning Software gpu는 수천개의 코어를 갖고 있다. 많은 수의 dot product를 모두 병렬로 수행할 수 있다. Model과 Model weights는 GPU RAM에 있지만, 실제 train data는 하드디스크 등에 존재하므로 이를 불러올 때 보틀넥이 생길 수 있다. 따라서 데이터셋이 작은 경우에 이들을 모두 RAM에 올려놓을 수도 있고, cpu의 다중스레드를 사용ㅇ해서 RAM에 미리 올려놓을 수 ... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005 [EECS 498-007 / 598-005] 강의정리 - 8강(CS231n 9강) CNN Architectures Number of floating point operations =(number of output elements)×(ops per output elem)=(C+out×H′×W′)×(Cin ×K×K)=(64×56×56)×(3×11×11)=200.704×363=72,855,552 Conv(5x5, C->C) Conv(3x3, C->C) Conv(3x3, C->C) 만약 두 3x3 conv l... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005 [CS231n] 강의정리 - 7강 Training Neural Networks, Part2 첫번째처럼 local minima에서 gradient가 0이 되어 갇히거나, 두번째처럼 saddle point에서 gradient가 0이되어 멈출 수 있다. 이를 통해 진행되는 방향에 관성을 줄 수 있다. 즉, local minima이거나 saddle points에서 gradient=0이 되어도 계속 진행할 수 있다. 만약 convex case가 아니라 saddle point같은 경우에는 멈... cs231ncs231n [CS231n] 강의정리 - 6강 Training Neural Networks, Part 1 x가 -10이나 10이 되면 gradient는 0이 되어버려 이 값이 backprop된다면 0이 전달되어 gradient가 사라진다. Sigmoid outputs are not zero-centered 즉, 우리가 원하는 방향은 파란색 화살표이지만, 모든 w가 양수의 방향 또는 음수의 방향으로밖에 이동할 수 밖에 없기 때문에 최적의 w를 구하는데 더 오랜 시간이 걸린다. DATA CLOUD(... cs231ncs231n [ DeepML-CS231n ] Lec. 07 Training Neural Networks - II Problem with SGD What if loss changes quickly in one direction and slowly in another? Local minima or plateau or saddle point: zero gradient or gradient descent / saddle points much more common in high dimension The grad... cs231ncs231n 👩🏻💻Standford CS231N Deep Learning -3 W의 각 행은 class의 classifier로 생각하거나 각 class의 template (prototype)으로 생각할 수 있다 Wx+b 에서 (W,b)쌍을 기억하기 보단, x의 첫 col에 1을 추가하고, W와 b를 한 matrix로 저장하는 것. loss function = cost function = objective function loss 값이 작을 수록 좋다 Multiclass... cs231n딥러닝cs231n 👩🏻💻Standford CS231N Deep Learning -2 2020/09/05 깃헙 블로그 기록 semantic gap : 사진을 이미지로 보는게 아니라 픽셀의 숫자로 봄 viewpoint variation background clutter Illumination : 밝기나 음영 occlusion : 다른 사물에 가려져 구분이 힘든 경우 deformation intracalss variation : 같은 종류지만 다 다른 생김새 image 에서 ed... cs231n딥러닝cs231n CS231n - lecture 4: backpropagation and nueral networks 그리고 우리는 hinge loss라는 다른 계산 노드를 가지고 있습니다. x,y에 대한 덧셈 노드를 보실 수 있으며 오른쪽에는 다음 연산을 위한 곱셈 노드도 가지고 있습니다. 우리는 출력의 f에 대한 gradient()를 계산하길 원합니다.그리고 이 gradient는 1입니다, 어떻게 할 수 있을까요?이 경우 우리는 다시한번 chain rule을 적용할 수 있습니다. 그리고 이 노드에서 우리... cs231ncs231n [cs231n] Lecture 03 Loss function - 1 한 이미지의 Loss(L_i)를 구하기 위해, 정답 클래스를 제외한 나머지 클래스(오답 클래스들)의 Loss들을 모두 더하는 방식입니다. 2) 만약 정답 클래스의 스코어가 오답 클래스의 스코어보다 더 높으면, 정답 클래스의 스코어가 다른 오답 스코어보다 훨씬 크다는 것을 의미합니다. 고양이 클래스의 스코어가 자동차(개구리) 클래스의 스코어보다 1 이상 크면, 고양이 클래스의 스코어가 자동차(... cs231ncs231n [CS231n 정리] 7. Training Neural Networks 2 아래 식을 보면 기존 SGD와 다르게 vx와 rho 값을 사용하는 것을 볼 수 있습니다. 이러한 경우 이 값이 분모에 있기 때문에 update step에서 값이 튀어서 이상한 곳으로 튀어 버릴 수 있다고 합니다. 그리고 이 learning rate decay는 second order hyperparameter라고 합니다. 하지만 이 방법은 mini Batch를 사용하지 못해서 실제로 적용하기... ML/DLcs231nML/DL [CS231n 정리] 8. Deep Learning Software 아래 그림을 보시면 CPU는 높은 clock 속도를 가지지만 GPU는 CPU와 비교할 수 없는 Core 수를 가지고 있는 것을 볼 수 있습니다. 파라미터 값인 (w1, w2)에 대해서는 gradient가 필요하여 requires_grad=True로 설정한 것을 볼 수 있습니다. 먼저 learing_rate 값을 설정한뒤에 500번 반복 학습하는 것을 볼 수 있습니다. 고로 값이 0이 아닌 경... ML/DLcs231nML/DL cs231-assignment2-총괄-코드 cs231-assignment2-총결산 dx는 x모양과 같이 모두 0인 행렬로 dx리 x>0의 위치를 1 로 설정합니다. dx의 형상을 x의 형상으로 바꾸기 batch norm은 특징값에 대한 귀일화이지 이미지에 대한 귀일화가 아니다 계산된 사다리를 먼저 간소화한 다음에 코드로 써서 계산량을 줄인다 mask np의 제로 작업 볼륨 네트워크의 input은 N 개,batch output도 N 개... cs231n [CS231N] 실습1. KNN Image Classification의 방법 중 K-Nearest-Neighbor에 대해 실습을 진행하였습니다. 실행 결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 실행결과 최적의 K값으로 Predict하였으나, 정확도가 10% 밖에 나오지 않았다. Train Data와 Test Data 사이의 L2 Distance를 기준으로 K개의 인접 Data들을 참조하여 Class... cs231nComputer Visionstudy memoComputer Vision 한 문장으로 정리하는 computer vision (3) numerical gradient 계산방법 업데이트할 때, gradient df의 negative direction으로 움직인 것을 주목하자. analytic gradient 계산방법 따라서 analytic gradient으로 구한 다음 numerical gradient으로 비교하며 고치는 과정수행하며, 이를 gradient check라고 한다. L_i = \sum_{j\neq y_i} \l... cs231nEECS 498-007 / 598-005EECS 498-007 / 598-005