ViT parameters

ViT 모델 사이즈 별 parameter 수 (feat.GFLOPs)

요즘 CLIP 관련해서 논문을 쓰고 있어서 ViT/B-32 , ViT/B-16, ViT/L-14 등의 parameter 수를 검색하는데, 통 안나왔다. 보니까 ViT/B , ViT/L, ViT/H의 차이는 있지만, ViT/B-32와 ViT/B-16의 parameter수는 차이가 안난다는 것을 알아내었다. 따라서 모델의 계산량을 따지는 게 맞다. GFLOPS 자료 출처 : https://chowdera.com/2021/06/20210620230815101l.html GFLOPs로 비교하는 경우 model size라는 단어보다 model compute를 사용한다. (CLIP paper figure caption 참고)