Share your thoughts, 1 month free Claude Pro on usSee more

Multimodal Understanding on MMMU (val)

85.2MMMU Score

Gemini 3 Pro

Updated 4d ago

Evaluation Results

Method
Gemini 3 Pro 2026.01	85.2	-	-	-	-	-	-	-	-	-	-
GPT-5 2026.01	81.8	-	-	-	-	-	-	-	-	-	-
Gemini 2.5 Pro 2026.01	79.6	-	-	-	-	-	-	-	-	-	-
Gemini 2.5 Flash 2026.01	79	-	-	-	-	-	-	-	-	-	-
GPT-5 mini 2026.01	78.7	-	-	-	-	-	-	-	-	-	-
Claude Sonnet 4.5 2026.01	77.8	-	-	-	-	-	-	-	-	-	-
InternVL3.5-8B 2026.01	73.4	-	-	-	-	-	-	-	-	-	-
Keye-VL-1.5-8B 2026.01	71.4	-	-	-	-	-	-	-	-	-	-
Qwen3-VL-8B 2026.01	69.6	-	-	-	-	-	-	-	-	-	-
GLM-4.1V-9B 2026.01	68	-	-	-	-	-	-	-	-	-	-
MiniCPM-V-4.5-8B 2026.01	67.7	-	-	-	-	-	-	-	-	-	-
Qwen3-VL-4B 2026.01	67.4	-	-	-	-	-	-	-	-	-	-
InternVL3.5-4B 2026.01	66.6	-	-	-	-	-	-	-	-	-	-
FastMMoE† 2025.11	61.11	-	-	-	-	-	-	-	-	-	1.76
FastMMoE* 2025.11	61	-	-	-	-	-	-	-	-	-	2.8
FastMMoE† 2025.11	60.78	-	-	-	-	-	-	-	-	-	2.31
FastMMoE* 2025.11	60.78	-	-	-	-	-	-	-	-	-	5.63
Baseline 2025.11	60.67	-	-	-	-	-	-	-	-	-	0
FastMMoE* 2025.11	60.67	-	-	-	-	-	-	-	-	-	1.6
FastV 2025.11	60.22	-	-	-	-	-	-	-	-	-	2.22
FastMMoE† 2025.11	60.11	-	-	-	-	-	-	-	-	-	3.53
FastV 2025.11	60	-	-	-	-	-	-	-	-	-	4.82
FastMMoE† 2025.11	59.33	-	-	-	-	-	-	-	-	-	4.47
FastMMoE† 2025.11	59	-	-	-	-	-	-	-	-	-	7.27
SparseVLM 2025.11	58.89	-	-	-	-	-	-	-	-	-	9.09
Vanilla 2024.12	58.6	-	-	-	-	-	-	-	-	-	-
Gemini 1.5 Pro 2024.05	58.5	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	58.4	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	58.3	-	-	-	-	-	-	-	-	-	-
iLLaVA 2024.12	58.2	-	-	-	-	-	-	-	-	-	-
Qwen2.5-VL 2026.01	58	-	-	-	-	-	-	-	-	-	-
FasterVLM 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
iLLaVA 2024.12	57.9	-	-	-	-	-	-	-	-	-	-
FastV 2025.11	57.89	-	-	-	-	-	-	-	-	-	9.95
SparseVLM 2025.11	57.11	-	-	-	-	-	-	-	-	-	16.6
iLLaVA 2024.12	56.9	-	-	-	-	-	-	-	-	-	-
GPT-4V 2024.07	56.8	65.3	64.3	48.4	63.5	76.3	41.7	-	-	-	-
FasterVLM 2024.12	56.8	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	56.7	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	56.7	-	-	-	-	-	-	-	-	-	-
VisionZip 2024.12	56	-	-	-	-	-	-	-	-	-	-
FasterVLM 2024.12	55.9	-	-	-	-	-	-	-	-	-	-
Eagle2.5-8B 2026.01	55.8	-	-	-	-	-	-	-	-	-	-
SparseVLM 2024.12	55.6	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	55.3	-	-	-	-	-	-	-	-	-	-
Bagel 2026.04	55.3	-	-	-	-	-	-	-	-	-	-
SenseChat-V 2024.07	54.6	62.7	44.1	42.3	55.7	74.7	43.5	-	-	-	-
LatentUMBase 2026.04	54.6	-	-	-	-	-	-	-	-	-	-
Molmo-72B 2026.01	54.1	-	-	-	-	-	-	-	-	-	-
SparseVLM 2025.11	53.89	-	-	-	-	-	-	-	-	-	24.43
GPT-4V-1106 2024.02	53.8	-	-	-	-	-	-	-	-	-	-
Claude 3 Sonnet 2024.05	53.1	-	-	-	-	-	-	-	-	-	-
VILA2-40B 2024.07	53	62	42.3	38.5	51.9	71.9	42.3	-	-	-	-
Molmo2-8B 2026.01	53	-	-	-	-	-	-	-	-	-	-
PyramidDrop 2024.12	52.3	-	-	-	-	-	-	-	-	-	-
LatentUMBase 2026.04	52.3	-	-	-	-	-	-	-	-	-	-
InternVL-Chat-V1.2 2024.07	51.6	62.5	37.6	37.9	49.7	70.1	40.8	-	-	-	-
Qwen-VL-MAX 2024.07	51.4	64.2	39.8	36.3	52.5	70.4	40.7	-	-	-	-
LLaVA-NeXT 2024.05	51.1	-	-	-	-	-	-	-	-	-	-
Molmo2-4B 2026.01	50.9	-	-	-	-	-	-	-	-	-	-
BLIP3o 8B 2026.04	50.6	-	-	-	-	-	-	-	-	-	-
Claude 3 Haiku 2024.05	50.2	-	-	-	-	-	-	-	-	-	-
Cambrian-1-34B 2024.07	49.7	-	-	-	-	-	-	-	-	-	-
Molmo 2026.01	49.1	-	-	-	-	-	-	-	-	-	-
Show-o2 2026.04	48.9	-	-	-	-	-	-	-	-	-	-
LLaVA-1.6 2024.07	48.1	58.6	39.9	36	51.2	70.2	36.3	-	-	-	-
Mini-Gemini-HD 2024.05	48	-	-	-	-	-	-	-	-	-	-
Mini-Gemini-HD-34B 2024.07	48	-	-	-	-	-	-	-	-	-	-
Gemini 1.0 Pro 2024.05	47.9	-	-	-	-	-	-	-	-	-	-
LLaVA-OneVision 2026.01	47.9	-	-	-	-	-	-	-	-	-	-
Gemma3-4b-it 2026.01	47.3	-	-	-	-	-	-	-	-	-	-
BLIP3o 4B 2026.04	46.6	-	-	-	-	-	-	-	-	-	-
Marco-VL-Plus* 2024.07	46.2	57.4	34.7	38.5	48.7	72.2	36.7	-	-	-	-
PLM-8B 2026.01	46.1	-	-	-	-	-	-	-	-	-	-
Yi-VL 2024.07	45.9	56.1	33.3	32.9	45.9	66.5	36	-	-	-	-
Molmo2-O-7B 2026.01	45.8	-	-	-	-	-	-	-	-	-	-
Molmo-7B-D 2026.01	45.3	-	-	-	-	-	-	-	-	-	-
Qwen-VL-PLUS 2024.07	45.2	59.9	34.5	32.8	43.7	65.5	32.9	-	-	-	-
MM1-Chat 2024.05	44.7	-	-	-	-	-	-	-	-	-	-
Idefics2 2024.05	43.5	-	-	-	-	-	-	-	-	-	-
Idefics2 2024.05	43.5	-	-	-	-	-	-	-	-	-	-
Bunny-8B 2024.02	43.3	-	-	-	-	-	-	-	-	-	-
Tokenflow XL 2026.04	43.2	-	-	-	-	-	-	-	-	-	-
Idefics2 2024.05	43	-	-	-	-	-	-	-	-	-	-
Idefics2 2024.05	43	-	-	-	-	-	-	-	-	-	-
Idefics2 2024.02	43	-	-	-	-	-	-	-	-	-	-
LLaVA-NeXT-Llama-3-8B 2024.02	41.7	-	-	-	-	-	-	-	-	-	-
SmolVLM2 2026.01	41.6	-	-	-	-	-	-	-	-	-	-
Bunny-4B 2024.02	41.4	-	-	-	-	-	-	-	-	-	-
Marco-VL-Plus* 2024.07	41.2	56.5	31	31	46.9	66.5	33.8	-	-	-	-
PLM-3B 2026.01	41.2	-	-	-	-	-	-	-	-	-	-
Janus Pro 2026.04	41	-	-	-	-	-	-	-	-	-	-
VILA2-8B 2024.07	40.8	54.3	32	29.3	39.7	56.8	34.4	-	-	-	-
LLaVA-v1.5-13B (LORA) 2024.02	40.05	-	-	-	-	-	-	-	-	-	-
InfiMM-Zephyr 2024.07	39.4	50	29.6	28.2	37.5	54.6	31.1	-	-	-	-
Molmo-7B-O 2026.01	39.3	-	-	-	-	-	-	-	-	-	-
Yi-VL-6B 2024.02	39.1	-	-	-	-	-	-	-	-	-	-
AdaMMS 2025.03	39.1	-	-	-	-	-	-	-	-	-	-
Task Arithmetic 2025.03	38.8	-	-	-	-	-	-	-	-	-	-

Showing 100 of 250 rows