1. 소개

이번은, 배치 정규화에 대해 정리합니다.

2. 배치 정규화 (Batch Normalization)

배치 정규화는, 학습시의 미니 배치마다 각 채널을 평균 0분산 1이 되도록 정규화하는 것으로, 학습의 안정화나 속도 업을 할 수 있는 필수의 테크닉입니다.

하지만, 이하의 약점도 있습니다.
1) 고해상도의 화상을 취급하는 것으로 메모리가 부족해 배치 사이즈가 작아지면, 평균·분산의 추정이 불안정하게 되어 잘 학습이 진행되지 않는다.
2)1)의 대책으로서 복수의 GPU로 대응하면, 고가의 하드웨어가 필요해 실장이나 최적화가 복잡하게 된다.
3) 비디오의 인접 프레임과 같은 상관이 있는 화상의 경우, 평균·분산의 추정이 불안정해져서 잘 학습이 진행되지 않는다.
그 때문에, 이러한 약점을 보충하는 다양한 바리에이션이 등장하고 있습니다.

3. 배치 정규화의 변형

1) Layer Normalization
모든 채널에 걸쳐 평균 분산을 취하는 방법. 너무 국지적이어서, 특히 중요하지 않은 채널이 화상 전체에 걸쳐 높은 값을 나타낼 경우에 다른 채널이 억제되어 버리는 문제점이 있다.

2)Instance Normalization
각 채널 독립에 화상의 종횡 방향에 대해서만 평균·분산을 취하는 방법. 복수의 채널의 편성에 의해 표현되는 특징을 왜곡해 버리는 문제점 있다.

3)Group Normalization
채널을 G개로 그룹화하여 Layer Normalization과 Instance Normalization의 중간 처리를 하는 방법. 이미지 분류와 같은 작업으로 Batch Normalization에 필적하는 정밀도를 실현하고 있습니다.

4. 배치 정규화를 넣는 장소

1) 전체 결합 층

2) 컨벌루션 레이어