Share your thoughts, 1 month free Claude Pro on usSee more

Multi-modal Video Evaluation on VideoMME

65.1Score

Qwen2.5-VL

Updated 19d ago

Evaluation Results

Method
Qwen2.5-VL 2026.02	65.1	-	-	-	-	-	-	-
ReMoRa 2026.02	64.4	-	-	-	-	-	-	-
LLaVA-Video-7B 2026.03	64.3	-	-	-	-	-	-	-
Qwen2-VL 2026.02	63.3	-	-	-	-	-	-	-
LLaVA-Video 2026.02	63.3	-	-	-	-	-	-	-
BIMBA 2026.02	63.1	-	-	-	-	-	-	-
LongVU 2026.02	60.6	-	-	-	-	-	-	-
LLaVA-OneVision 2026.02	58.2	-	-	-	-	-	-	-
Ours 2026.03	56.2	-	-	-	-	-	-	-
Kangaroo 2026.02	56	-	-	-	-	-	-	-
Ours (w/o M) 2026.03	55.8	-	-	-	-	-	-	-
Video-XL 2026.02	55.5	-	-	-	-	-	-	-
HoliTom 2026.03	55.3	-	-	-	-	-	-	-
Ours 2026.03	54.9	-	-	-	-	-	-	-
Ours (w/o M) 2026.03	54.6	-	-	-	-	-	-	-
LongVA 2026.02	54.3	-	-	-	-	-	-	-
FastVid 2026.03	53.6	-	-	-	-	-	-	-
EMA 2026.02	53.4	-	-	-	-	-	-	-
HoliTom 2026.03	51.7	-	-	-	-	-	-	-
FastVid 2026.03	49.3	-	-	-	-	-	-	-
VisionZip 2026.03	48.4	-	-	-	-	-	-	-
FsatV 2026.03	48.1	-	-	-	-	-	-	-
VideoChat2 2026.02	47.9	-	-	-	-	-	-	-
Video-LLaMA2 2026.02	47.9	-	-	-	-	-	-	-
VisionZip 2026.03	47	-	-	-	-	-	-	-
LLaVA-NeXT-Video 2026.02	46.5	-	-	-	-	-	-	-
FsatV 2026.03	46	-	-	-	-	-	-	-
PLLaVA 2026.02	44.3	-	-	-	-	-	-	-
LLaVA-OV-0.5B 2026.03	43.7	-	-	-	-	-	-	-
Ours 2026.03	40.6	-	-	-	-	-	-	-
Ours (w/o M) 2026.03	40.5	-	-	-	-	-	-	-
Video-LLaVA 2026.02	40.4	-	-	-	-	-	-	-
Ours 2026.03	40.4	-	-	-	-	-	-	-
HoliTom 2026.03	39.4	-	-	-	-	-	-	-
Ours (w/o M) 2026.03	38.2	-	-	-	-	-	-	-
HoliTom 2026.03	37.5	-	-	-	-	-	-	-
FastVid 2026.03	36.9	-	-	-	-	-	-	-
FastVid 2026.03	35	-	-	-	-	-	-	-
VisionZip 2026.03	34.6	-	-	-	-	-	-	-
FastV 2026.03	34	-	-	-	-	-	-	-
VisionZip 2026.03	33.3	-	-	-	-	-	-	-
FastV 2026.03	32.2	-	-	-	-	-	-	-
Gemini-1.5-Pro 2024.12	-	75	81.3	-	-	-	-	-
GPT-4V 2024.12	-	59.9	63.3	-	-	-	-	-
GPT-4o 2024.12	-	71.9	77.2	-	-	-	-	-
Video-CCAM 2024.12	-	50.1	51.2	-	-	-	-	-
VideoChat2 2024.12	-	39.5	43.8	-	-	-	-	-
VideoLLaMA2 2024.12	-	47.9	50.3	-	-	-	-	-
LongVU 2024.12	-	-	60.6	-	-	-	-	-
LLaVA-Video 2024.12	-	63.3	69.7	-	-	-	-	-
Kangaroo 2024.12	-	56	57.6	-	-	-	-	-
Video-CCAM 2024.12	-	50.3	52.6	-	-	-	-	-
Qwen2-VL 2024.12	-	55.6	60.4	-	-	-	-	-
InternVL2 2024.12	-	45	47.3	-	-	-	-	-
PVC InternVL2 2024.12	-	54.5	56.7	-	-	-	-	-
LongVA 2024.12	-	52.6	54.3	-	-	-	-	-
IXC-2.5 2024.12	-	55.8	58.8	-	-	-	-	-
LLaVA-OV 2024.12	-	58.2	61.5	-	-	-	-	-
Oryx MLLM 2024.12	-	58.3	62.6	-	-	-	-	-
Qwen2-VL 2024.12	-	63.3	69	-	-	-	-	-
InternVL2 2024.12	-	54	56.9	-	-	-	-	-
PVC InternVL2 2024.12	-	64.1	69.7	-	-	-	-	-
GPT-4o mini 2024.12	-	61.8	68.9	-	-	-	-	-
GPT-4o 2024.12	-	71.9	77.2	-	-	-	-	-
LLaVA-NeXT-Video 2024.12	-	38.5	-	-	-	-	-	-
Video-XL 2024.12	-	55.5	61	-	-	-	-	-
InternVL2 2024.12	-	56.3	59.3	-	-	-	-	-
LLaVA-OneVision 2024.12	-	58.2	61.5	-	-	-	-	-
Oryx-1.5 2024.12	-	58.8	64.2	-	-	-	-	-
LongVILA 2024.12	-	60.1	65.1	-	-	-	-	-
LongVU 2024.12	-	60.6	-	-	-	-	-	-
Qwen2-VL 2024.12	-	63.3	69	-	-	-	-	-
NVILA 2024.12	-	64.2	70	-	-	-	-	-
Gemini 1.5 pro 2026.01	-	-	-	62.54	66.41	-	-	-
GPT-4o 2026.01	-	-	-	60.75	62.87	-	-	-
LLaVA-Video-7B 2026.01	-	-	-	-	63.3	-	-	-
Qwen2-VL-7B 2026.01	-	-	-	-	63.3	-	-	-
InternVL-V2-8B 2026.01	-	-	-	-	56.3	-	-	-
Dispider-7B 2026.01	-	-	-	-	57.2	-	-	-
TimeChat-Online-7B 2026.01	-	-	-	41.7	53.22	-	-	-
StreamForest-7B 2026.01	-	-	-	-	61.4	-	-	-
LLaVA-OV-7B 2026.01	-	-	-	48	57.67	-	-	-
ReKV 2026.01	-	-	-	46.89	57.74	-	-	-
HERMES 2026.01	-	-	-	49.11	58.44	-	-	-
HERMES 2026.01	-	-	-	49.22	58.85	-	-	-
Qwen2.5-VL-7B 2026.01	-	-	-	53.89	64.52	-	-	-
HERMES 2026.01	-	-	-	54.44	62	-	-	-
HERMES 2026.01	-	-	-	53.44	60.63	-	-	-
Gemini-1.5-pro 2025.12	-	-	-	-	-	75	-	-
GPT-4o 2025.12	-	-	-	-	-	71.9	-	-
Flash-VStream-7B 2025.12	-	-	-	-	-	61.2	-	-
VideoLLM-online-8B 2025.12	-	-	-	-	-	26.9	-	-
Dispider-7B 2025.12	-	-	-	-	-	57.2	-	-
StreamingVLM-7B 2025.12	-	-	-	-	-	65.1	-	-
Qwen2.5-VL-3B 2025.12	-	-	-	-	-	61.5	-	-
ET-Instruct-3B 2025.12	-	-	-	-	-	56.6	-	-
ET-Instruct-3B† 2025.12	-	-	-	-	-	59.6	-	-
Streamo-3B 2025.12	-	-	-	-	-	61.8	-	-
Qwen2.5-VL-7B 2025.12	-	-	-	-	-	65.1	-	-
Streamo-7B 2025.12	-	-	-	-	-	67.9	-	-

Showing 100 of 110 rows