Share your thoughts, 1 month free Claude Pro on usSee more

Multimodal Visual Pattern Understanding on MMVP-VLM (test)

0.267Orientation & Direction Acc

SigLIP VIT-SO-14

Updated 1mo ago

Evaluation Results

Method	Links
SigLIP VIT-SO-14 2024.05		0.267	0.2	0.533	0.4	0.2	0.667	0.4	0.2	0.533	0.378
ContextBLIP 2024.05		0.267	0.467	0.6	0.4	0.467	0.933	0.4	0.2	0.533	0.474
SigLIP VIT-SO-14 2024.05		0.2	0.267	0.6	0.333	0.133	0.667	0.333	0.267	0.533	0.37
DFN VIT-H-14 2024.05		0.2	0.267	0.733	0.267	0.267	0.667	0.467	0.133	0.533	0.393
OpenAI ViT-L-14 2024.05		0.133	0.133	0.2	0.2	0.133	0.533	0.2	0.067	0.133	0.193
DFN VIT-H-14 2024.05		0.133	0.2	0.533	0.333	0.267	0.667	0.4	0.2	0.4	0.348
MetaCLIP VIT-L-14 2024.05		0.133	0.067	0.667	0.067	0.333	0.467	0.2	0.067	0.133	0.237
EVA02 ViT-bigE-14+ 2024.05		0.133	0.2	0.667	0.133	0.267	0.667	0.267	0.2	0.333	0.333
BLIP 2024.05		0.133	0.067	0.4	0.2	0.267	0.667	0.467	0.2	0.467	0.319
MetaCLIP VIT-H-14 2024.05		0.067	0.133	0.6	0.133	0.067	0.533	0.267	0.133	0.333	0.252
EVA01 ViT-g-14 2024.05		0.067	0.267	0.4	0.067	0.133	0.667	0.133	0.133	0.2	0.23
OpenAI ViT-L-14 2024.05		0	0.2	0.4	0.2	0.067	0.2	0.333	0.067	0.333	0.2