Share your thoughts, 1 month free Claude Pro on usSee more

Video Question Answering on VideoMME

85.1Accuracy

Gemini 2.5 Pro

Updated 21d ago

Evaluation Results

Method
Gemini 2.5 Pro 2026.01	85.1	-	-	-	-	-	-	-
Gemini-2.5-Pro 2026.03	84.3	-	-	-	-	-	-	-
Gemini 1.5 Pro 2026.01	78.6	-	-	-	-	-	-	-
Seed1.5-VL 2026.03	77.9	-	-	-	-	-	-	-
Gemini-1.5-Flash 2026.01	76.1	-	-	-	-	-	-	-
Gemini 1.5 Pro 2024.10	75	-	-	-	-	-	-	-
Gemini-1.5-Pro 2025.02	75	-	-	-	-	-	-	-
Gemini-1.5-Pro 2026.02	75	-	-	-	-	-	-	-
Gemini-1.5-Pro 2026.05	75	-	-	-	-	-	-	-
Qwen3-VL-8B 2026.01	72.5	-	-	-	-	-	2.2	-
GPT 4o 2024.10	71.9	-	-	-	-	-	-	-
GPT-4o 2025.02	71.9	-	-	-	-	-	-	-
GPT4-o 2026.02	71.9	-	-	-	-	-	-	-
GPT-4o 2026.03	71.9	-	-	-	-	-	-	-
GPT-4o 2026.04	71.9	-	-	-	-	-	-	60.02
GPT-4o 2026.05	71.9	-	-	-	-	-	-	-
VideoAuto-R1 2026.01	71.7	-	-	-	-	11	52	-
Qwen2-VL-7B-Instruct 2026.01	71.4	-	-	-	-	-	-	-
Gemini-1.5-Flash 2025.02	70.3	-	-	-	-	-	-	-
Gemini 1.5 Flash 2026.04	70.3	-	-	-	-	-	-	-
Gemini-1.5-Flash 2026.05	70.3	-	-	-	-	-	-	-
Vanilla 2026.03	69.4	-	-	-	-	-	-	-
LLaVA-Video-7B+TIR-Flow 2026.01	68.9	-	-	-	-	-	-	-
Qwen3-VL8B + OutRo 2026.03	68.33	-	-	-	-	-	-	-
Qwen2.5-VL-7B+TIR-Flow 2026.01	68.3	-	-	-	-	-	-	-
T* 2026.05	68.3	-	-	-	-	-	-	-
Qwen3-VL8B 2026.03	67.44	-	-	-	-	-	-	-
ResAdapt 2026.03	67.4	-	-	-	-	-	-	-
VideoAuto-R1 2026.01	67.3	-	-	-	-	40	44	-
Random Drop 2026.03	67.2	-	-	-	-	-	-	-
ToMe 2026.03	67.2	-	-	-	-	-	-	-
VisionZip 2026.03	67.1	-	-	-	-	-	-	-
ResAdapt 2026.03	66.8	-	-	-	-	-	-	-
FixedScale 2026.03	66.7	-	-	-	-	-	-	-
InternVL3-8B 2026.03	66.3	-	-	-	-	-	-	-
LOVE-R1 2026.01	66.2	-	-	-	-	-	-	-
VideoLLaMA3-7B 2026.01	66.2	-	-	-	-	-	-	-
VideoLLaMA3-7B 2026.03	66.2	-	-	-	-	-	-	-
VideoAuto-R1 + ResAdapt 2026.03	66.2	-	-	-	-	-	-	-
MIRA 2026.05	66.2	-	-	-	-	-	-	-
Qwen2.5-VL-7B 2026.01	66	-	-	-	-	-	3	-
InternVL3.5-8B 2026.03	66	-	-	-	-	-	-	-
ResAdapt 2026.03	65.6	-	-	-	-	-	-	-
TPO 2026.05	65.6	-	-	-	-	-	-	-
LongVU 2025.03	65.4	-	-	-	-	-	-	-
InternVL3.5-4B 2026.03	65.4	-	-	-	-	-	-	-
LLaVA-Video w/ AKS 2025.02	65.3	-	-	-	-	-	-	-
Weaver 2026.02	65.3	-	-	-	-	-	-	-
R-MSD (4B) 2026.03	65.3	-	-	-	-	-	-	-
Vanilla 2026.03	65.3	-	-	-	-	-	-	-
VideoChat-R1.5 2026.01	65.2	-	-	-	-	-	133	-
TTA-Vid 2026.04	65.11	-	-	-	-	-	-	55.13
Long-VILA-R1 2026.02	65.1	-	-	-	-	-	-	-
LongVILA-R1 2026.01	65.1	-	-	-	-	-	-	-
ToMe 2026.03	65.1	-	-	-	-	-	-	-
CATS (ours)† 2026.05	65.04	-	-	-	-	-	-	-
Vanilla 2026.03	65	-	-	-	-	-	-	-
DToMA 2026.05	65	-	-	-	-	-	-	-
Random Drop 2026.03	64.9	-	-	-	-	-	-	-
VisionZip 2026.03	64.8	-	-	-	-	-	-	-
VideoChat-R1.5 2026.04	64.8	-	-	-	-	-	-	52.24
VideoAuto-R1 2026.03	64.7	-	-	-	-	-	-	-
VideoAuto-R1 + ResAdapt 2026.03	64.7	-	-	-	-	-	-	-
ToMe 2026.03	64.7	-	-	-	-	-	-	-
BIMBA 2026.05	64.7	-	-	-	-	-	-	-
BIMBA-LLaVA 2025.03	64.67	-	-	-	-	-	-	-
AKS† 2026.05	64.48	-	-	-	-	-	-	-
LLaVA-Video 2025.02	64.4	-	-	-	-	-	-	-
Video-R1 2026.04	64.3	-	-	-	-	-	-	51.94
InternVL2.5 2026.02	64.2	-	-	-	-	-	-	-
InternVL2.5-8B 2026.03	64.2	-	-	-	-	-	-	-
VisionZip 2026.03	64.2	-	-	-	-	-	-	-
VITAL 2026.01	64.1	-	-	-	-	-	-	-
FixedScale 2026.03	64.1	-	-	-	-	-	-	-
Random Drop 2026.03	64.1	-	-	-	-	-	-	-
VideoChat-R1 2026.04	64.1	-	-	-	-	-	-	52.34
Video-RFT 2026.04	64.1	-	-	-	-	-	-	52.32
Original SFT+RL (4B) 2026.03	64	-	-	-	-	-	-	-
Qwen3-VL-8B-Instruct 2026.03	64	-	-	-	-	-	-	-
FlashVid 2026.03	63.9	-	-	-	-	-	-	-
Weaver-SFT 2026.02	63.8	-	-	-	-	-	-	-
Qwen3-VL-4B-Instruct 2026.03	63.8	-	-	-	-	-	-	-
ResAdapt 2026.03	63.8	-	-	-	-	-	-	-
Video-R2 2026.04	63.8	-	-	-	-	-	-	53.92
TwigVLM++ 2025.03	63.6	-	-	-	-	-	-	-
Q2.5VL-7B 2025.03	63.4	-	-	-	-	-	-	-
LLaVA-Video 2026.05	63.33	-	-	-	-	-	-	-
Qwen2 VL (7B) 2024.10	63.3	-	-	-	-	-	-	-
Qwen2-VL 2025.03	63.3	-	-	-	-	-	-	-
LLaVA-Video 2025.03	63.3	-	-	-	-	-	-	-
Qwen2.5-VL 2026.02	63.3	-	-	-	-	-	-	-
LLaVA-Video-7B 2026.01	63.3	-	-	-	-	-	-	-
LLaVA-Video 2026.04	63.3	-	-	-	-	-	-	-
VideoAuto-R1 2026.03	63.2	-	-	-	-	-	-	-
Video-RTS 2026.01	63	-	-	-	-	-	-	-
Random Drop 2026.03	63	-	-	-	-	-	-	-
Video-RTS 2026.04	63	-	-	-	-	-	-	-
STTM 2026.01	62.6	-	-	-	-	-	-	-
ResAdapt 2026.03	62.6	-	-	-	-	-	-	-
VideoLLaMA37B + OutRo 2026.03	62.56	-	-	-	-	-	-	-

Showing 100 of 338 rows