Share your thoughts, 1 month free Claude Pro on usSee more

Diagram Question Answering on AI2D

96.02AI2D Accuracy

ERNIE 5.0-Base

Updated 6d ago

Evaluation Results

Method
ERNIE 5.0-Base 2026.02	96.02	-	-	-	-	-	-	-
Qwen3.5-27B 2026.04	92.9	-	-	-	-	-	-	-
Llama 3.2-11B 2025.01	91.1	-	-	-	-	-	-	-
InternVL3-78B 2025.12	89.7	-	-	-	-	-	-	-
Keye-VL-1.5-8B 2025.12	89.5	-	-	-	-	-	-	-
Gemini-2.5-Pro 2025.12	89.5	-	-	-	-	-	-	-
GPT-5 2025.12	89.5	-	-	-	-	-	-	-
Qwen3-VL-32B 2025.12	89.5	-	-	-	-	-	-	-
Qwen3-VL-235B-A22B 2026.04	89.2	-	-	-	-	-	-	-
EXAONE 4.5 33B 2026.04	89	-	-	-	-	-	-	-
InternVL3-8B-Masters 2025.12	88.9	-	-	-	-	-	-	-
Masters 2025.12	88.9	-	-	-	-	-	-	-
Qwen3-VL-32B 2026.04	88.9	-	-	-	-	-	-	-
Qwen2.5-VL-72B 2025.12	88.7	-	-	-	-	-	-	-
Qwen2.5-VL-7B-Masters 2025.12	88.6	-	-	-	-	-	-	-
Masters 2025.12	88.6	-	-	-	-	-	-	-
Qwen3-VL-8B-Masters 2025.12	88.5	-	-	-	-	-	-	-
Masters 2025.12	88.5	-	-	-	-	-	-	-
GPT-5-Mini 2025.12	88.2	-	-	-	-	-	-	-
GPT-5 mini 2026.04	88.2	-	-	-	-	-	-	-
GLM-4.5V 2025.12	88.1	-	-	-	-	-	-	-
Qwen3-VL-4B-Masters 2025.12	88	-	-	-	-	-	-	-
GLM-4.1V-9B 2025.12	87.9	-	-	-	-	-	-	-
InternVL3.5-38B 2025.12	87.8	-	-	-	-	-	-	-
VLsI-7B 2024.12	87.3	-	-	-	-	-	-	-
InternVL3.5-8B-Masters 2025.12	87.2	-	-	-	-	-	-	-
Masters 2025.12	87.2	-	-	-	-	-	-	-
Keye-VL-8B 2025.12	86.7	-	-	-	-	-	-	-
Ovis2-8B 2025.12	86.6	-	-	-	-	-	-	-
MiniCPM-o2.6-8B 2025.12	86.1	-	-	-	-	-	-	-
GPT-4.1 2025.12	85.9	-	-	-	-	-	-	-
Qwen3-VL-8B 2025.12	85.7	-	-	-	-	-	-	-
Ovis2-4B 2025.12	85.7	-	-	-	-	-	-	-
LLaVA-OneVision 2024.09	85.6	-	-	-	-	-	-	-
LLaVA-OneVision-72B 2025.12	85.6	-	-	-	-	-	-	-
Qwen2.5-VL-3B-Masters 2025.12	85.4	-	-	-	-	-	-	-
PaliGemma2-3B + AuditDM 2025.12	85.3	-	-	-	-	-	-	-
InternVL3-8B 2025.12	85.2	-	-	-	-	-	-	-
NVLM-72B 2025.12	85.2	-	-	-	-	-	-	-
PaliGemma2-28B 2025.12	84.6	-	-	-	-	-	-	-
GPT-4o 2025.12	84.6	-	-	-	-	-	-	-
PaliGemma2-10B 2025.12	84.4	-	-	-	-	-	-	-
LLaVA-OneVision-1.5-8B 2025.12	84.2	-	-	-	-	-	-	-
Baseline 2026.02	84.2	-	-	-	-	-	-	-
Qwen3-VL-4B 2025.12	84.1	-	-	-	-	-	-	-
Qwen3-VL-4B-Instruct 2026.03	84.1	-	-	-	-	-	-	-
InternVL3.5-8B 2025.12	84	-	-	-	-	-	-	-
Qwen2.5-VL-7B 2025.12	83.9	-	-	-	-	-	-	-
InternVL2-8B 2024.12	83.8	-	-	-	-	-	-	-
LLaVA-OneVision-1.5-4B 2025.12	83.6	-	-	-	-	-	-	-
MiMo-VL-8B 2025.12	83.5	-	-	-	-	-	-	-
Molmo-72B 2025.12	83.4	-	-	-	-	-	-	-
InternVL3.5-4B-Masters 2025.12	83.3	-	-	-	-	-	-	-
Oryx-1.5 2024.09	83.2	-	-	-	-	-	-	-
Gemini-2.0-Flash 2025.12	83.1	-	-	-	-	-	-	-
Phi-4-Multimodal-5.6B 2025.12	83	-	-	-	-	-	-	-
InternVL3.5-2B-Masters 2025.12	83	-	-	-	-	-	-	-
Claude-4-Sonnet 2025.12	83	-	-	-	-	-	-	-
Ovis2-2B 2025.12	82.7	-	-	-	-	-	-	-
InternVL3.5-4B 2025.12	82.6	-	-	-	-	-	-	-
Claude-3.7-Sonnet 2025.12	82.5	-	-	-	-	-	-	-
dots.mocr 2026.03	82.16	-	-	-	-	-	-	-
MiniCPM-V2.6-8B 2025.12	82.1	-	-	-	-	-	-	-
Qwen3-VL-2B-Masters 2025.12	82.1	-	-	-	-	-	-	-
InternVL3-2B-Masters 2025.12	82.1	-	-	-	-	-	-	-
LLaVANext 2025.02	81.7	-	-	-	-	-	-	-
Qwen2.5-VL-3B 2025.12	81.6	-	-	-	-	-	-	-
IXC-2.5-7B 2024.07	81.5	-	-	-	-	-	-	-
LLaVA-OneVision-7B 2024.12	81.4	-	-	-	-	-	-	-
LLaVA-OneVision-7B 2025.12	81.4	-	-	-	-	-	-	-
Claude-3.5-Sonnet 2025.12	81.2	-	-	-	-	-	-	-
SCL 2024.10	81.11	-	-	-	-	-	-	-
Oryx 2024.09	81	-	-	-	-	-	-	-
SFT 2024.10	80.66	-	-	-	-	-	-	-
InternVL 2024.07	80.6	-	-	-	-	-	-	-
InternLM-XComposer-2-7B 2024.10	80.27	-	-	-	-	-	-	-
Qwen2VL-7B-Instruct 2025.12	79.9	-	-	-	-	77.38	-	-
Cambrian-1 2024.09	79.7	-	-	-	-	-	-	-
Oryx-1.5 2024.09	79.7	-	-	-	-	-	-	-
Cambrian-1-34B 2025.01	79.7	-	-	-	-	-	-	-
LLaVANext 2025.02	79.6	-	-	-	-	-	-	-
Phantom-7B 2024.12	79.5	-	-	-	-	-	-	-
IDPruner 2026.02	79.18	-	-	-	-	-	-	-
Gemini-1.5-Pro 2025.12	79.1	-	-	-	-	-	-	-
Qwen2VL-7B-Instruct + LUVC 2025.12	78.86	-	-	-	-	76.52	-	-
DivPrune 2026.02	78.85	-	-	-	-	-	-	-
InternVL3.5-2B 2025.12	78.8	-	-	-	-	-	-	-
SCL 2024.10	78.72	-	-	-	-	-	-	-
InternLM-XComposer2 2024.01	78.7	-	-	-	-	-	-	-
InternVL3-2B 2025.12	78.7	-	-	-	-	-	-	-
Oryx 2024.09	78.5	-	-	-	-	-	-	-
Qwen2VL-7B-Instruct + PACT 2025.12	78.4	-	-	-	-	74	-	-
SCOPE 2026.02	78.21	-	-	-	-	-	-	-
GPT-4V 2024.01	78.2	-	-	-	-	-	-	-
GPT-4V 2025.01	78.2	-	-	-	-	-	-	-
SFT 2024.10	78.01	-	-	-	-	-	-	-
VisionSelector 2026.02	77.85	-	-	-	-	-	-	-
DART 2026.02	77.82	-	-	-	-	-	-	-
Phi-3.5-Vision-4B 2025.12	77.8	-	-	-	-	-	-	-
MiniCPM-Llama3-V2.5 2024.10	77.56	-	-	-	-	-	-	-

Showing 100 of 320 rows