학습률 조정, 미리 충분합니까? 나중에 더할까?

Hivemall의 구현으로 초기 파라미터를 재고할 기회가 있었지만, 초기 파라미터의 방식에 의문을 가지는 부분이 있어 정리하고 싶었으므로 이 엔트리를 쓰고 있다 AdaGrad에서는 g: 구배, w: 특징의 가중치의 배열에 대해 다음과 같이 갱신한다. 여기서 gg: 초기값 0.0의 배열, eta: 학습률의 상수, η가 학습률. AdaGrad에서는, 그라디언트의 제곱을 훈련 사례마다 더해, 학습...

KerasAdagradChainerTensorFlow기계 학습