[DL] ReLU 함수

ReLU function

ReLU는 최근에 주로 사용하게 된 활성함수의 하나!
입력이 0이 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수이다.
(sigmoid는 신경망 분야에서 오래전부터 이용했던 함수)

수식은 다음과 같이 나타낼 수 있다.

수식

h(x)={x(x>0)0(x0)h(x) = \begin{cases} x & (x > 0) \\ 0 & (x \le 0) \end{cases}

구현

def relu(x):
    return np.maximum(0, x)

numpy의 maximum을 사용해서 두 입력 중 큰 값을 선택해 반환하는 함수이다.

좋은 웹페이지 즐겨찾기