[논문 시리즈] 겹겹이 쌓인 소음 제거 인코더

원문

소음 제거 레이어 인코더: 국부 소음 제거 표준을 사용하는 심층 네트워크에서 유용한 특징량을 학습한다
Pascal Vincent (2010)

1. 요약

강곡람본 5.7.2항의 원논문(상세히 기술)

인코더의 입력값에 소음(corrupted input)을 추가하여 출력층으로 재구성합니다

그 결과 소음을 제거하는 기구에 대한 학습이 대조모델에 비해 건장성을 강화했다

SVM 등 얕은 계층 인식기에도 적용됩니다

2. 뼈 이론

~ 소음의 종류~
· 고스 잡음 → 표준 정적 분포에 기반한 무작위 수를 입력값에 추가
· 노이즈 마스킹(MN) → 입력 요소 중 일부를 마스킹하여 인코더를 사용할 수 없게 함
· 소금 및 후추 노이즈(SP) → 입력 값 중 일부를 최대값 또는 최소값으로 변환(대부분 0과 1)(흑백 이미지와 같은 2값 데이터를 처리할 때 유효)
인코더의 평가 함수는 소음 상황에서도 포함된 모델링이다.우선 제곱 오차 함수를 평가하는 상황에서.

L_{2,\alpha}({\bf x},{\bf z}) = \alpha\Bigl(\sum_{j\in J(\tilde{\bf x})}({\bf x}_j - {\bf z}_j)^2\Bigr) + \beta\Bigl(\sum_{j\notin J(\tilde{\bf x})}({\bf x}_j - {\bf z}_j)^2\Bigr)

$J (\tilde{\bfx}) $는 잡음 항목의 집합을 나타냅니다.
교차 엔트로피를 평가 함수에 놓을 때 다음과 같다.

L_{{\bf H},\alpha}({\bf x},{\bf z}) = \alpha\Bigl(-\sum_{j\in J(\tilde{\bf x})}[{\bf x}_j\log{\bf z}_j - (1-{\bf x}_j)\log(1-{\bf z}_j)]\Bigr) + \beta\Bigl(-\sum_{j\notin J(\tilde{\bf x})}[{\bf x}_j\log{\bf z}_j - (1-{\bf x}_j)\log(1-{\bf z}_j)]\Bigr)

α리본에서 를 클릭합니다.β매개변수 설정입니다.
SDAE의 다이어그램은 다음과 같습니다.이 그림에서는 소음을 감추는 상태를 보여 준다.

3. 모델 적용 예

① 정방향 전파형 NN, DBN과의 비교
NIST에 다양한 발색 샘플을 적용하여 성능을 비교했습니다.
기대대로 3 계층 SDAE의 성능이 가장 좋습니다.

② 테스트 데이터의 잡음량과의 관계
소음이 적은 지역에서는 식별 능력이 겹쳐진 수량에 따라 높아진다.그러나 소음의 정도가 클수록 레이어드 효과의 차이는 적다.

③ SVM과 같은 NN 이외의 인식기 병용 정보
결론은 성능이 향상되었다는 것이다.