Share your thoughts, 1 month free Claude Pro on usSee more

Multimodal Understanding on MMMU (val)

85.2MMMU Score

Gemini 3 Pro

Updated 1d ago

Evaluation Results

Method
Gemini 3 Pro 2026.01	85.2	-	-	-	-	-	-	-	-	-	-
GPT-5 2026.01	81.8	-	-	-	-	-	-	-	-	-	-
Gemini 2.5 Pro 2026.01	79.6	-	-	-	-	-	-	-	-	-	-
Gemini 2.5 Flash 2026.01	79	-	-	-	-	-	-	-	-	-	-
GPT-5 mini 2026.01	78.7	-	-	-	-	-	-	-	-	-	-
Claude Sonnet 4.5 2026.01	77.8	-	-	-	-	-	-	-	-	-	-
Claude Sonnet 4 2026.05	74.4	-	-	-	-	-	-	-	-	-	-
InternVL3.5-8B 2026.01	73.4	-	-	-	-	-	-	-	-	-	-
Keye-VL-1.5-8B 2026.01	71.4	-	-	-	-	-	-	-	-	-	-
Qwen3-VL-8B 2026.01	69.6	-	-	-	-	-	-	-	-	-	-
GLM-4.1V-9B 2026.01	68	-	-	-	-	-	-	-	-	-	-
MiniCPM-V-4.5-8B 2026.01	67.7	-	-	-	-	-	-	-	-	-	-
Qwen3-VL-4B 2026.01	67.4	-	-	-	-	-	-	-	-	-	-
InternVL3.5-4B 2026.01	66.6	-	-	-	-	-	-	-	-	-	-
FastMMoE† 2025.11	61.11	-	-	-	-	-	-	-	-	-	1.76
FastMMoE* 2025.11	61	-	-	-	-	-	-	-	-	-	2.8
FastMMoE† 2025.11	60.78	-	-	-	-	-	-	-	-	-	2.31
FastMMoE* 2025.11	60.78	-	-	-	-	-	-	-	-	-	5.63
Baseline 2025.11	60.67	-	-	-	-	-	-	-	-	-	0
FastMMoE* 2025.11	60.67	-	-	-	-	-	-	-	-	-	1.6
FastV 2025.11	60.22	-	-	-	-	-	-	-	-	-	2.22
FastMMoE† 2025.11	60.11	-	-	-	-	-	-	-	-	-	3.53
FastV 2025.11	60	-	-	-	-	-	-	-	-	-	4.82
Claude 3 Opus (Opus 3) 2026.05	59.4	-	-	-	-	-	-	-	-	-	-
FastMMoE† 2025.11	59.33	-	-	-	-	-	-	-	-	-	4.47
FastMMoE† 2025.11	59	-	-	-	-	-	-	-	-	-	7.27
SparseVLM 2025.11	58.89	-	-	-	-	-	-	-	-	-	9.09
Vanilla 2024.12	58.6	-	-	-	-	-	-	-	-	-	-
Gemini 1.5 Pro 2024.05	58.5	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	58.4	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	58.3	-	-	-	-	-	-	-	-	-	-
iLLaVA 2024.12	58.2	-	-	-	-	-	-	-	-	-	-
Qwen2.5-VL 2026.01	58	-	-	-	-	-	-	-	-	-	-
InternVL3.5-8B 2026.05	58	-	-	-	-	-	-	-	-	-	-
FasterVLM 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
iLLaVA 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
FastV 2025.11	57.89	-	-	-	-	-	-	-	-	-	9.95
InternVL3.5-4B 2026.05	57.2	-	-	-	-	-	-	-	-	-	-
SparseVLM 2025.11	57.11	-	-	-	-	-	-	-	-	-	16.6
iLLaVA 2024.12	56.9	-	-	-	-	-	-	-	-	-	-
GPT-4V 2024.07	56.8	65.3	64.3	48.4	63.5	76.3	41.7	-	-	-	-
FasterVLM 2024.12	56.8	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	56.7	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	56.7	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	56	-	-	-	-	-	-	-	-	-	-
FasterVLM 2024.12	55.9	-	-	-	-	-	-	-	-	-	-
Eagle2.5-8B 2026.01	55.8	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	55.6	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	55.3	-	-	-	-	-	-	-	-	-	-
Bagel 2026.04	55.3	-	-	-	-	-	-	-	-	-	-
BAGEL 2026.05	55.3	-	-	-	-	-	-	-	-	-	-
SenseChat-V 2024.07	54.6	62.7	44.1	42.3	55.7	74.7	43.5	-	-	-	-
LatentUMBase 2026.04	54.6	-	-	-	-	-	-	-	-	-	-
Qwen3-VL-8B 2026.05	54.3	-	-	-	-	-	-	-	-	-	-
Molmo-72B 2026.01	54.1	-	-	-	-	-	-	-	-	-	-
SparseVLM 2025.11	53.89	-	-	-	-	-	-	-	-	-	24.43
GPT-4V-1106 2024.02	53.8	-	-	-	-	-	-	-	-	-	-
Claude 3 Sonnet 2024.05	53.1	-	-	-	-	-	-	-	-	-	-
VILA2-40B 2024.07	53	62	42.3	38.5	51.9	71.9	42.3	-	-	-	-
Molmo2-8B 2026.01	53	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	52.3	-	-	-	-	-	-	-	-	-	-
LatentUMBase 2026.04	52.3	-	-	-	-	-	-	-	-	-	-
Circle-RoPE 2025.05	52.11	-	-	-	-	-	-	-	-	-	-
InternVL-Chat-V1.2 2024.07	51.6	62.5	37.6	37.9	49.7	70.1	40.8	-	-	-	-
InternVL2.5 2025.05	51.56	-	-	-	-	-	-	-	-	-	-
Qwen2.5-VL (SFT) 2025.05	51.56	-	-	-	-	-	-	-	-	-	-
Qwen-VL-MAX 2024.07	51.4	64.2	39.8	36.3	52.5	70.4	40.7	-	-	-	-
Qwen3-VL-4B 2026.05	51.4	-	-	-	-	-	-	-	-	-	-
LLaVA-NeXT 2024.05	51.1	-	-	-	-	-	-	-	-	-	-
Molmo2-4B 2026.01	50.9	-	-	-	-	-	-	-	-	-	-
BLIP3o 8B 2026.04	50.6	-	-	-	-	-	-	-	-	-	-
Qwen-2.5-VL-Instruct 2026.05	50.6	-	-	-	-	-	-	-	-	-	-
BLIP3-o 2026.05	50.6	-	-	-	-	-	-	-	-	-	-
Qwen2.5-VL 2025.05	50.22	-	-	-	-	-	-	-	-	-	-
Claude 3 Haiku 2024.05	50.2	-	-	-	-	-	-	-	-	-	-
InternVL3.5-2B 2026.05	49.9	-	-	-	-	-	-	-	-	-	-
TUNA 2026.05	49.8	-	-	-	-	-	-	-	-	-	-
Cambrian-1-34B 2024.07	49.7	-	-	-	-	-	-	-	-	-	-
Molmo 2026.01	49.1	-	-	-	-	-	-	-	-	-	-
Show-o2 2026.04	48.9	-	-	-	-	-	-	-	-	-	-
Show-o2 2026.05	48.9	-	-	-	-	-	-	-	-	-	-
Molmo2-4B 2026.05	48.8	-	-	-	-	-	-	-	-	-	-
LLaVA-1.6 2024.07	48.1	58.6	39.9	36	51.2	70.2	36.3	-	-	-	-
Mini-Gemini-HD 2024.05	48	-	-	-	-	-	-	-	-	-	-
Mini-Gemini-HD-34B 2024.07	48	-	-	-	-	-	-	-	-	-	-
Gemini 1.0 Pro 2024.05	47.9	-	-	-	-	-	-	-	-	-	-
LLaVA-OneVision 2026.01	47.9	-	-	-	-	-	-	-	-	-	-
Molmo2-8B 2026.05	47.7	-	-	-	-	-	-	-	-	-	-
Gemma3-4b-it 2026.01	47.3	-	-	-	-	-	-	-	-	-	-
BLIP3o 4B 2026.04	46.6	-	-	-	-	-	-	-	-	-	-
Marco-VL-Plus* 2024.07	46.2	57.4	34.7	38.5	48.7	72.2	36.7	-	-	-	-
PLM-8B 2026.01	46.1	-	-	-	-	-	-	-	-	-	-
Yi-VL 2024.07	45.9	56.1	33.3	32.9	45.9	66.5	36	-	-	-	-
Molmo2-O-7B 2026.01	45.8	-	-	-	-	-	-	-	-	-	-
Molmo-7B-D 2026.01	45.3	-	-	-	-	-	-	-	-	-	-
Qwen-VL-PLUS 2024.07	45.2	59.9	34.5	32.8	43.7	65.5	32.9	-	-	-	-
MM1-Chat 2024.05	44.7	-	-	-	-	-	-	-	-	-	-
STARFlow2 2026.05	44.7	-	-	-	-	-	-	-	-	-	-
Phi-3.5 vision 2025.05	44.44	-	-	-	-	-	-	-	-	-	-

Showing 100 of 341 rows