자신의 선생님, 학습과 BERT가 있습니다.

이미지 분류에서의 자기 교사와 학습(Self-Supervised Learning)에 관해 나는 이제야 이것이 자연언어처리학과 BERT의 사전 학습인 Masked Language Model과Next Sentence Prediction의 원형이라는 것을 깨달았다.
반교사 학습
반교사 학습은 소수의 교사가 데이터와 다수의 무교사 데이터에서 학습하는 방법이다.
교사와 데이터가 학습됨에 따라 교사가 없는 데이터에 분류 라벨을 추가하고 학습 데이터가 증가함에 따라 이 추가 라벨의 정밀도도 점점 높아진다.
다른 한편, 자신의 선생님은 학습 중에 분류 라벨을 주지 않는다.자신의 선생님의 학습은 정답의 분류 라벨을 모르는 경우(예를 들어'개'이미지인 줄 모르는 경우) 사전 학습을 한다.
BERT 사전 학습
예를 들어 자연 언어 처리 시스템의 문제는 문장에서 감정을 표현하는 문제이다.
입력한 글에 대해 이 글은 기쁨, 슬픔, 분노 등의 내용을 출력한다.그러나 BERT의 사전학습에서 자주 언급되는 위키백과 어료고에는 당연히 문장의 감정과 상응하는 분류의 정확한 라벨 등이 부여되지 않는다.그럼에도 BERT는 정확한 라벨이 분류되지 않은 어료 라이브러리에서 사전 학습, 문장 관련 학습 등을 할 수 있다.
이것은 아래 서술한 문제를 마음대로 만들어 이것을 배우기 때문이다.

자연언어처리학과의 자가 교사 학습 중 하나(Masked Language Model)
'나 오늘 오사카에서 도쿄로 간다'=>'MASK 오늘 오사카에서 MASK로 간다'
문장을 무작위로 MASK로 바꾸어 이 입력에서 MASK 단어를 추측해 내는 빈칸 채우기 문제를 풀었다.
정확한 해시태그는 MASK로 교체하기 전의 원문을 제시한다.
자연언어처리학과의 자기교사 학습 2(Next Sentence Prediction)
"A 문[SEP]B 문"
적당한 A문과 B문(어료고에서 무작위로 선택)을 주고 이 두 문장의 연속 여부를 배운다.정확한 라벨 예를 들어 두 문장이 연속이면 0이고 연속이 아니면 1이며 2값으로 나뉜다.
이미지 분류의 자가 강사 학습 중 하나(Masked Image Model)

이미지를 적절하게 [MASK]화하여 이것을 예측한다.
그러나 정확한 라벨을 얻기 위해서는 모든 패치가tokenizer를 통해 이산값화되어야 한다.BERT의 vocalb입니다.BertTokenizer처럼 txt를 사용하여 글을 index 값으로 변환하지만 이 이미지 버전을 만들어야 합니다.
이 점에 대해 VQVAE를 배우면 벡터 계량화(이산값화, index 값화)를 할 수 있기 때문에 Tokenizer는 이 모델을 이용할 수 있다.이렇게 하면 모든 이미지 패치의 가려진 이미지의 패치 부분이 어떤 문제인지 해결할 수 있다.

이미지 분류의 자가 강사 학습 2(Ctrastive Learning)

이미지 변형 $X$Y^A 및 $Y^B.
$Y^A와 $Y^B를 비교하여 같은 그림 $X$에서 변형되었는지 판단합니다.
이미지 분류에서의 자가 강사 학습 3(Preext-Invariant Representation Learning)
　　
그림의 칠교판을 무작위로 다시 배열한 그림도 정확한 순서로 다시 배열하는 문제를 만들 수 있다.이런 자기 교사는 공부를 PIRL이라고 하지만 BERT의 사전 학습과 맞먹는 방법은 없다.
총결산
이미지 분류를 위한 자가 교사와 학습은 3가지로, 이 중 2가지인 마스크드 이미지 모델과Contrastive Learning은 BERT의 마스크드 랭거우 모델과Next Sentence Prediction에 해당한다.
전자는 BEiT를 읽고 후자는SimCLR 등의 논문을 읽으면 나온다.

원리적으로 분류 라벨이 없는 이미지로 스스로 문제를 만들어 풀면(그때의 답안은 문제를 생성하는 과정에서 자동으로 발생한다) 자신의 선생님과 학습이 있다.그런데 왜 GAN과 AutoEnceorder에서 교사가 없는 학습을 자기교사라고 부르지 학습이라고 부르지 않습니까?이런 의문이 있다.
또한 이미지를 0, 90, 180270°로 회전시키고 흑백 이미지에서 컬러 이미지를 제작하며 애니메이션의 시간 서열을 어지럽히는 문제도 자기 교사와 학습이라고 부른다.
그러나 현재 이러한 결과는 이미지 분류 분야에서 학습 데이터가 ImageNet-1k only에만 국한되면 매우 우수하다(
피코(Vit-H448): 88.3%), 큰 사전학습 데이터팀을 사용한 교사와 학업은 관련되지 않았다(JFT-3B,CoAtNet-7:90.88%), 자연언어처리 분야의 자아교사와 학습은 아직 주류가 아니다.