원문

DropConnect를 이용한 신경망 정규화(Regularization of Neural Networks using DropConnect)
Li Wan (2013)

1. 요약

DropConnect는 Dropout을 일반화하는 기술입니다.

Dropout은 설정된 비율에 따라 무작위로 단위를 선택하고 해당 단위의 가중치를 '0'으로 설정합니다.

DropConnect는 위의 "0"을 임의의 가중치로 설정할 수 있습니다. 또한, 중간층의 선형 결합의 「결합」에 주목하고, 설정한 비율에 따라, 랜덤하게 「결합」을 취한다. 그런 다음 결합에 가중치를 부여하여 활성화 함수에 적용합니다.

2. 골자의 이론

DropConnect의 모델을 식으로 떨어뜨리면 다음과 같다. ;

$$r = a(({\bf M} * {\bf W})v)$$

행렬 ${\bf M}$ 가 각각의 조인에 대해 지정한 가중치를 걸거나 걸지 않을지를 결정한다.
그런 다음 처리 된 선형 결합을 활성화 함수에 적용하고 출력 벡터 r에 떨어 뜨립니다.
아래의 개략도는 CNN에서 특징 추출 후 DropConnect를 적용하고자하는 경우이다.

3. 모델 적용 예

코드 예는 아래 링크에서 다운로드
http:///cs.nyu.edu/~wanli/dropc

예를 들어, MNIST에 의한 이미지 인식 정확도를 대조 기법과 비교했다.
128장을 세트로 한, 미니 배치 학습을 실시했다.
모멘텀을 적용하고 상수는 0.9.
60000장의 트레이닝으로부터, 10000장분 테스트했다.



Drop 테크닉을 사용하지 않으면 일반화 오차가 눈에 띈다.
하지만, 테크닉을 적용하면 숨겨진 층의 유닛이 늘어도 과학습이 되기 어려운 것이 아래 그림에서 알 수 있다.