deep learning

Deep learning에서 Collapse (Collapsing)란?

Deep learning 논문을 읽다보면 model collapse에 대한 얘기가 많이 나온다. 간단히 얘기하자면, 모든 입력에 대해 동일한 embedding을 출력하는 현상이다. 두 가지 예가 있는데, GAN의 경우, generator와 discriminator를 균형있게 학습시켜야 하는데, discriminator가 학습속도가 너무 빨라져 버리는 경우가 있다. 이 경우에, GAN은 '진짜'같은 이미지를 생성하는 본 목적을 잃어버리고, discriminator가 가장 헷갈려하는 똑같은 그림만 생성하게 된다. 이 경우를 Mode Collapse라고 한다. 또 representation learning의 경우, contrastive learning으로 학습하는 경우가 많다. contrastive learn..