ViT 모델 사이즈 별 parameter 수 (feat.GFLOPs)

요즘 CLIP 관련해서 논문을 쓰고 있어서 ViT/B-32 , ViT/B-16, ViT/L-14 등의 parameter 수를 검색하는데, 통 안나왔다.

 

그나마 찾은 자료

보니까 ViT/B , ViT/L, ViT/H의 차이는 있지만,

ViT/B-32와 ViT/B-16의 parameter수는 차이가 안난다는 것을 알아내었다.

 

따라서 모델의 계산량을 따지는 게 맞다.

 

같은 B,L,H끼리는 사이즈로 비교를 못하니 GFLOPs를 비교해보자

GFLOPS 자료 출처 : https://chowdera.com/2021/06/20210620230815101l.html

GFLOPs로 비교하는 경우 model size라는 단어보다 model compute를 사용한다. (CLIP paper figure caption 참고)