Share your thoughts, 1 month free Claude Pro on usSee more

Multimodal Visual Pattern Understanding on MMVP-VLM (test)

0.763MMVP Average Acc

LIVE (SigLIP ViT-SO-14)

Updated 1mo ago

Evaluation Results

Method
LIVE (SigLIP ViT-SO-14) 2026.06	0.763	0.8	0.767	0.733	0.8	0.833	0.867	-	0.667	0.733
ContextBLIP 2024.05	0.474	0.267	0.467	0.6	0.4	0.467	0.933	0.4	0.2	0.533
BRAVE 2026.06	0.42	-	-	-	-	-	-	-	-	-
DFN VIT-H-14 2024.05	0.393	0.2	0.267	0.733	0.267	0.267	0.667	0.467	0.133	0.533
DFN ViT-H-14 2026.06	0.393	0.2	0.267	0.733	0.267	0.267	0.667	-	0.133	0.533
SigLIP VIT-SO-14 2024.05	0.378	0.267	0.2	0.533	0.4	0.2	0.667	0.4	0.2	0.533
SigLIP ViT-SO-14 2026.06	0.378	0.267	0.2	0.533	0.4	0.2	0.667	-	0.2	0.533
SigLIP VIT-SO-14 2024.05	0.37	0.2	0.267	0.6	0.333	0.133	0.667	0.333	0.267	0.533
SigLIP ViT-SO-14 2026.06	0.37	0.2	0.267	0.6	0.333	0.133	0.667	-	0.267	0.533
DFN VIT-H-14 2024.05	0.348	0.133	0.2	0.533	0.333	0.267	0.667	0.4	0.2	0.4
DFN ViT-H-14 2026.06	0.348	0.133	0.2	0.533	0.333	0.267	0.667	-	0.2	0.4
EVA02 ViT-bigE-14+ 2024.05	0.333	0.133	0.2	0.667	0.133	0.267	0.667	0.267	0.2	0.333
EVA02 ViT-bigE-14+ 2026.06	0.333	0.133	0.2	0.667	0.267	0.267	0.667	-	0.2	0.333
BLIP 2024.05	0.319	0.133	0.067	0.4	0.2	0.267	0.667	0.467	0.2	0.467
LLaVa 2026.06	0.313	-	-	-	-	-	-	-	-	-
MetaCLIP VIT-H-14 2024.05	0.252	0.067	0.133	0.6	0.133	0.067	0.533	0.267	0.133	0.333
MetaCLIP ViT-H-14 2026.06	0.252	0.067	0.133	0.6	0.133	0.067	0.533	-	0.133	0.333
MetaCLIP VIT-L-14 2024.05	0.237	0.133	0.067	0.667	0.067	0.333	0.467	0.2	0.067	0.133
MetaCLIP ViT-L-14 2026.06	0.237	0.133	0.067	0.667	0.067	0.333	0.467	-	0.067	0.133
EVA01 ViT-g-14 2024.05	0.23	0.067	0.267	0.4	0.067	0.133	0.667	0.133	0.133	0.2
EVA01 ViT-g-14 2026.06	0.23	0.067	0.267	0.4	0.067	0.133	0.667	-	0.133	0.2
OpenAI ViT-L-14 2024.05	0.2	0	0.2	0.4	0.2	0.067	0.2	0.333	0.067	0.333
OpenAI ViT-L-14 2026.06	0.2	0	0.2	0.4	0.2	0.067	0.2	-	0.067	0.333
OpenAI ViT-L-14 2024.05	0.193	0.133	0.133	0.2	0.2	0.133	0.533	0.2	0.067	0.133
OpenAI ViT-L-14 2026.06	0.193	0.133	0.133	0.2	0.2	0.133	0.533	-	0.067	0.133
InstructBLIP 2026.06	0.167	-	-	-	-	-	-	-	-	-