Day 4 - BatchNorm, LayerNorm 요약

1779 단어 심층 학습
이 기사는 개인 공부용 메모입니다.

강의



Batch Norm



Batch Normalization
배치 정규화

개요



레이어 사이를 흐르는 데이터의 분포를 미니 배치 단위로 평균 0, 분산 1이 되도록 정규화정규화할 단위는 채널 채널마다의 정규화이므로, 이 수법은 정공법. (R만을 정리해 정규화, G만을 정리해 정규화라고 하는 것은 　보통의 생각) 효과 학습 시간 단축 초기값에 대한 의존 감소 과학 학습 억제 문제점 배치 크기가 작 으면 학습이 수렴하지 않을 수 있습니다. 효과가 얇아져 버린다. 실제로 배치 정규화를 사용하는 것은 권장되지 않습니다. 배치의 크기에 영향을 받기 때문에 (환경에 따라 배치 크기가 다름). Layer Norm Layer Normalization 개요데이터의 분포를 정규화하는 것은 배치 정규화와 동일하다. 배치 정규화와의 차이점이미지 데이터의 예 - Batch Norm: 미니 배치의 각 채널에 대해 정규화 - Layer Norm : 1장씩 모든 채널을 정규화 효과 미니 배치의 수에 영향을 미치지 않기 때문에, Batch Norm 문제를 해결했습니다. 입력 데이터의 스케일에 대해 강건(견고) 가중치 행렬의 스케일 및 시프트에 대한 강인 그럼에도 불구하고 모든 채널을 함께 정규화하기 때문에 정공법과는 조금 벗어나는가. (RGB를 정리해 정규화하는 의미란?이라고 생각해 버린다) Instance Norm Instance Normalization 개요데이터의 분포를 정규화하는 것은 다른 정규화와 동일하다. Layer Norm과의 차이점Layer Norm: 한 장씩 모든 채널 정규화 Instance Norm: 한 장의 채널별 정규화 Batch Norm에서 배치 크기가 1인 경우와 같은 움직임. 효과 대비 정규화 이미지 스타일 전송 텍스처 합성 등에서 이용 관련 기사 정규화의 이미지는 아래의 페이지가 매우 알기 쉬웠다. Normalization Layers https://hotcocoastudy.hatenablog.jp/entry/2019/10/12/112213위의 페이지에 따르면 Group Normalization이라는 정규화가 있다는 것.Instance Normalization에서는 1장, 1채널마다 정규화하지만, Group Normalization 에서는 복수의 채널을 정리해 그룹으로 해 정규화한다.
Transformer(심층 학습)와 Transformers(타카라토미라든지)가 융합되고 있다.
Day 4 - Seq2Seq 요약

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage