Weight initialization

아래의 그래프와 같이 학습된 결과 값의 에러값을 비교해 봤을때, good initializaion이 일어났을 때, 더 좋은 예측 손실 값을 얻은 것을 알 수 있다. ( initializaion - 뒤에 N 표시) 현명한 initialization 방법 : 0으로 초기화 하지 않는다. Geoffrey Hinton (2006) - " A Fast learning Algorithm for Deep...

RBMWeight initalizaionXavierHEUniform initializationHE