Our new X account is live! Follow @wizwand_team for updates

Visual Question Answering on VQA 2.0 (test-dev)

86.5Accuracy

Molmo-72B

Updated 3d ago

Evaluation Results

Method
Molmo-72B 2024.09	86.5	-	-	-	-	-	-	-
PaLI-X 2023.05	86	-	-	-	-	-	-	-
InternVL2-Llama-3-76B 2024.09	85.6	-	-	-	-	-	-	-
Molmo-7B-D 2024.09	85.6	-	-	-	-	-	-	-
Molmo-7B-O 2024.09	85.3	-	-	-	-	-	-	-
LLaVA OneVision-72B 2024.09	85.2	-	-	-	-	-	-	-
PaLI 2023.05	84.3	-	-	-	-	-	-	-
PaLI 2023.03	84.3	-	-	-	-	-	-	-
BEIT-3 2023.05	84.2	-	-	-	-	-	-	-
BEiT-3 2023.03	84.2	-	-	-	-	-	-	-
BEIT-3 2022.08	84.19	-	-	-	-	-	-	-
LLaVA OneVision-7B 2024.09	84	-	-	-	-	-	-	-
MolmoE-1B 2024.09	83.9	-	-	-	-	-	-	-
Cambrian-1-34B 2024.09	83.8	-	-	-	-	-	-	-
Qwen2-VL-7B 2024.09	82.9	-	-	-	-	-	-	-
VLMO-Large++ 2021.11	82.88	-	-	-	-	-	-	-
CoCa 2022.08	82.3	-	-	-	-	-	-	-
CoCa 2023.03	82.3	-	-	-	-	-	-	-
BLIP-2 2023.03	82.3	-	-	-	-	-	-	-
OFA 2022.08	82	-	-	-	-	-	-	-
Flamingo 2022.08	82	-	-	-	-	-	-	-
Flamingo 2023.05	82	-	-	-	-	-	-	-
OFA 2023.03	82	-	-	-	-	-	-	-
Flamingo 2023.03	82	-	-	-	-	-	-	-
Qwen2-VL-72B 2024.09	81.9	-	-	-	-	-	-	-
GIT2 2023.05	81.74	-	-	-	-	-	-	-
xGen-MM-interleave-4B 2024.09	81.5	-	-	-	-	-	-	-
mPLUG_ViT-L 2022.05	81.27	-	-	-	-	-	-	-
Cambrian-1-8B 2024.09	81.2	-	-	-	-	-	-	-
mPLUG-2 2023.02	81.11	-	-	-	-	-	-	-
PaLI 2023.03	80.8	-	-	-	-	-	-	-
MaMMUT 2023.03	80.7	-	-	-	-	-	-	-
OFA Large 2023.02	80.3	-	-	-	-	-	-	-
Florence 2023.03	80.2	-	-	-	-	-	-	-
Gemini 1.5 Pro 2024.09	80.2	-	-	-	-	-	-	-
Pixtral-12B 2024.09	80.2	-	-	-	-	-	-	-
Florence-Huge 2021.11	80.16	-	-	-	-	-	-	-
Florence 2022.08	80.16	-	-	-	-	-	-	-
Florence 2023.02	80.16	-	-	-	-	-	-	-
Florence 2022.05	80.16	-	-	-	-	-	-	-
Gemini 1.5 Flash 2024.09	80.1	-	-	-	-	-	-	-
SimVLM-Huge 2021.11	80.03	-	-	-	-	-	-	-
SimVLM 2022.08	80.03	-	-	-	-	-	-	-
SimVLM 2023.02	80.03	-	-	-	-	-	-	-
SimVLM 2022.05	80.03	-	-	-	-	-	-	-
PaLM-E 2023.05	80	-	-	-	-	-	-	-
SimVLM 2023.03	80	-	-	-	-	-	-	-
LLaVA-1.5-13B 2024.09	80	-	-	-	-	-	-	-
VLMO-Large 2021.11	79.94	-	-	-	-	-	-	-
VLMo 2023.02	79.94	-	-	-	-	-	-	-
VLMo 2022.05	79.94	-	-	-	-	-	-	-
OFA 2022.05	79.87	-	-	-	-	-	-	-
mPLUG_ViT-B 2022.05	79.79	-	-	-	-	-	-	-
SimVLM-Large 2021.11	79.32	-	-	-	-	-	-	-
PaLI 2023.03	79.3	-	-	-	-	-	-	-
mPLUG-2Base 2023.02	79.27	-	-	-	-	-	-	-
SCL 2022.11	78.72	-	-	-	-	-	-	-
GPT-4o-0513 2024.09	78.7	-	-	-	-	-	-	-
GIT 2023.03	78.6	-	-	-	-	-	-	-
GIT 2023.02	78.56	-	-	-	-	-	-	-
LLaVA-1.5-7B 2024.09	78.5	-	-	-	-	-	-	-
OmniVL 2023.03	78.3	-	-	-	-	-	-	-
BLIP 2022.08	78.25	-	-	-	-	-	-	-
BLIP 2022.11	78.25	-	-	-	-	-	-	-
BLIP 2022.05	78.25	-	-	-	-	-	-	-
BLIP 2022.06	78.24	-	-	-	-	-	-	-
BLIP 2023.03	78.2	-	-	-	-	-	-	-
Llama-3.2V-90B-Instruct 2024.09	78.1	-	-	-	-	-	-	-
MAP 2022.10	78.03	-	-	-	-	-	-	-
OFA 2022.11	78	-	-	-	-	-	-	-
mPLUG_ViT-B 2022.05	77.94	-	-	-	-	-	-	-
Unified-IO 2023.03	77.9	-	-	-	-	-	-	-
SimVLM 2022.11	77.87	-	-	-	-	-	-	-
SimVLM-Base 2022.10	77.87	-	-	-	-	-	-	-
METER 2023.03	77.7	-	-	-	-	-	-	-
METER 2022.11	77.68	-	-	-	-	-	-	-
METER 2022.05	77.68	-	-	-	-	-	-	-
METER 2022.10	77.68	-	-	-	-	-	-	-
BLIP 2022.06	77.54	-	-	-	-	-	-	-
BLIP 2023.02	77.54	-	-	-	-	-	-	-
Uncompressed 2024.03	77.4	-	-	-	-	-	-	186.1
GPT-4V 2024.09	77.2	-	-	-	-	-	-	-
CCLM_base 2022.06	77.17	-	-	-	-	-	-	-
X-VLMclip 2022.10	76.92	-	-	-	-	-	-	-
MADTP 2024.03	76.8	-	-	-	-	-	-	79.4
InternVL2-8B 2024.09	76.7	-	-	-	-	-	-	-
VLMO-Base 2021.11	76.64	-	-	-	-	-	-	-
VLMo 2022.11	76.64	-	-	-	-	-	-	-
VLMo-Base 2022.10	76.64	-	-	-	-	-	-	-
OSCAR+ w/ VinVL 2021.01	76.52	-	-	-	-	-	-	-
VinVL-Large 2021.11	76.52	-	-	-	-	-	-	-
VinVL 2022.08	76.52	-	-	-	-	-	-	-
CLIP-ViLp 2021.07	76.48	-	-	-	-	-	-	-
CLIP-ViL 2022.05	76.48	-	-	-	-	-	-	-
UPop 2024.03	76.3	-	-	-	-	-	-	109.4
MADTP 2024.03	76.3	-	-	-	-	-	-	61.6
PaliGemma-mix-3B 2024.09	76.3	-	-	-	-	-	-	-
EfficientVLM 2022.10	76.2	-	-	-	-	-	-	-
Knowledge-CLIP 2022.10	76.11	-	-	-	-	-	-	-
InterBERT 2021.01	75.95	-	-	-	-	-	-	-

Showing 100 of 337 rows