활성화 함수 Mish: Self Regularized Non-Monotonic Activation Function을 시도했습니다.

짚에 갈고 싶은 생각으로,,, 활성화 함수 Mish를 시험해 보았다. (실제는, 좀 더 편하게,,,, 하지만, 뭔가 훌륭한 것 없을까...라고 하는 생각에서.) Mish는 다음과 같은 형태의 활성화 함수입니다. 출처 : 위의 github 의 코드를 사용했습니다. 구체적으로는 cifar-10-resnext-50-mish.ipynb 의 코드를 이동했습니다. 주피터 노트를 사용하는 방법을 모르기 ...

mishCNNReLUDeepLearningDNN