1) Self Supervised Learning

(1) 개요

contrastive : 관계를 통한 학습을 하고자 함

self-prediction : masking 복원

(2) Adversarial masking for self-supervised learning

이미지에서는 pixel을 random하게 masking하기에 어려움

이미지의 전체적인 entity 부분을 masking하고자 했다

그래서 ADIOS라는 Masking function이라고 한다.

원본 이미지와 masking 이미지를 한 번에 넣어서 adversarial하게 학습

masking은 더 어렵게 만들고 encoder는 더 잘 학습하려고 함

모두 latent collapse를 방지하려는 구조

이러한 모든 마스크 구조에 자신들의 adversarial 구조를 사용할 것을 제안