소개

Deeplearning에서는 활성화 함수라는 것이 사용됩니다. 우리는 기본 활성화 함수 (Tanh, Sigmoid, Relu)의 특징과 함수의 파이썬 코드를 기록했습니다.

Tanh

출력은 -1.0 ~ 1.0 사이.

$$
o =\tanh(i) =\frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}
$$

시그모이드

출력은 0.0 ~ 1.0 사이 (확률).

$$
o = sigmoid (i) =\frac{1}{1 + e^{-x}}
$$

Relu (Rectified Linear Unit)

입력 < 0일 때, 출력 = 0
입력 > 0일 때, 출력 = 입력

Relu는 이미지 데이터와 호환됩니다.
화상 데이터는 uint(부가 없는)이므로, 화상을 처리해 마이너스가 된 것은 「노이즈」라고 간주해 버린다(=0으로 한다).

$$
o = max(0, i)
$$

파이썬 코드

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def tanh(x):
    return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))

def relu(x):
    return np.maximum(0, x) 

보충

하나의 모델 중에서 relu, sigmoid, tanh 등을 혼재하여 사용하는 경우가 있습니다.