ReLU 활성화 함수 Mish: Self Regularized Non-Monotonic Activation Function을 시도했습니다. 짚에 갈고 싶은 생각으로,,, 활성화 함수 Mish를 시험해 보았다. (실제는, 좀 더 편하게,,,, 하지만, 뭔가 훌륭한 것 없을까...라고 하는 생각에서.) Mish는 다음과 같은 형태의 활성화 함수입니다. 출처 : 위의 github 의 코드를 사용했습니다. 구체적으로는 cifar-10-resnext-50-mish.ipynb 의 코드를 이동했습니다. 주피터 노트를 사용하는 방법을 모르기 ... mishCNNReLUDeepLearningDNN 신경망 활성화 함수 Sigmoid와 ReLU의 관계 신경망의 활성화 함수에는 Sigmoid 함수와 ReLU 함수가 있다. 개인적으로는, 그 2개의 관계를 오랫동안 착각하고 있었으므로 간단하게 그 내용을 나타낸다. Sigmoid 함수 ReLU 함수 위의 함수의 내용을 보면, Sigmoid 함수 쪽이 고도의, 일반적인 의미로, 레벨이 높은 함수로 보인다. 개인적으로는, Sigmoid 함수의 exp() 포함한 계산의 처리 시간을 단축하기 위해서, ... 시그모이드CNNReLUNeuralNetworkDNN
활성화 함수 Mish: Self Regularized Non-Monotonic Activation Function을 시도했습니다. 짚에 갈고 싶은 생각으로,,, 활성화 함수 Mish를 시험해 보았다. (실제는, 좀 더 편하게,,,, 하지만, 뭔가 훌륭한 것 없을까...라고 하는 생각에서.) Mish는 다음과 같은 형태의 활성화 함수입니다. 출처 : 위의 github 의 코드를 사용했습니다. 구체적으로는 cifar-10-resnext-50-mish.ipynb 의 코드를 이동했습니다. 주피터 노트를 사용하는 방법을 모르기 ... mishCNNReLUDeepLearningDNN 신경망 활성화 함수 Sigmoid와 ReLU의 관계 신경망의 활성화 함수에는 Sigmoid 함수와 ReLU 함수가 있다. 개인적으로는, 그 2개의 관계를 오랫동안 착각하고 있었으므로 간단하게 그 내용을 나타낸다. Sigmoid 함수 ReLU 함수 위의 함수의 내용을 보면, Sigmoid 함수 쪽이 고도의, 일반적인 의미로, 레벨이 높은 함수로 보인다. 개인적으로는, Sigmoid 함수의 exp() 포함한 계산의 처리 시간을 단축하기 위해서, ... 시그모이드CNNReLUNeuralNetworkDNN