Share your thoughts, 1 month free Claude Pro on usSee more

Scientific Question Answering on SciQA

99.1Accuracy

DDP

Updated 8d ago

Evaluation Results

Method
DDP 2026.04	99.1	-	-	-	-	-	-	-	-
Gemini-3-pro 2026.04	98.1	-	-	-	-	-	-	-	-
Gemini-1.5-pro 2026.04	94.8	-	-	-	-	-	-	-	-
GPT-4o 2026.04	94.3	-	-	-	-	-	-	-	-
Qwen3-VL-4B-Instruct 2026.02	92.7	-	-	-	-	-	-	-	-
Swift 2025.06	92.48	99.1	7.61	8.84	7.73	6.76	7.11	8.45	-
Refit 2025.06	91.59	96	7.64	8.87	7.76	6.81	7.13	8.43	-
Qwen2.5-VL-32B 2026.04	91.4	-	-	-	-	-	-	-	-
MolmoAct 2026.02	91.1	-	-	-	-	-	-	-	-
STaR-GATE-D 2025.06	90.27	21.7	6.58	8.19	6.72	5.78	5.73	7.24	-
IWP 2026.04	90	-	-	-	-	-	-	-	-
DivPrune 2026.04	88.9	-	-	-	-	-	-	-	-
VisionZip 2026.04	88.7	-	-	-	-	-	-	-	-
IWP 2026.04	87.6	-	-	-	-	-	-	-	-
VisionZip 2026.04	87.6	-	-	-	-	-	-	-	-
DivPrune 2026.04	86.8	-	-	-	-	-	-	-	-
CDPruner 2026.04	85.2	-	-	-	-	-	-	-	-
FastV 2026.04	85	-	-	-	-	-	-	-	-
VisionZip 2026.04	84.5	-	-	-	-	-	-	-	-
IWP 2026.04	83.5	-	-	-	-	-	-	-	-
FastV 2026.04	83.2	-	-	-	-	-	-	-	-
CDPruner 2026.04	83.1	-	-	-	-	-	-	-	-
DivPrune 2026.04	82.5	-	-	-	-	-	-	-	-
STaR-GATE 2025.06	81.86	90.3	7.08	8.17	7.27	6.49	6.69	7.69	-
StepDPO 2025.06	81.86	7.5	6.29	7.87	6.36	5.57	5.42	6.89	-
FastV 2026.04	80.2	-	-	-	-	-	-	-	-
Xiaomi-Robotics-0 2026.02	79.4	-	-	-	-	-	-	-	-
CDPruner 2026.04	79.3	-	-	-	-	-	-	-	-
DPO 2025.06	79.2	5.8	5.96	7.61	6.08	5.29	5.14	6.5	-
Qwen-VL 2026.04	67.1	-	-	-	-	-	-	-	-
LLaVA-v1.5 2026.04	66.8	-	-	-	-	-	-	-	-
Base 2025.06	49.56	73.5	7	8.12	7.03	6.11	6.84	7.78	-
pi_0.5 2026.02	28	-	-	-	-	-	-	-	-
pi_0 2026.02	0	-	-	-	-	-	-	-	-
Xiaomi-Robotics-0 2026.02	0	-	-	-	-	-	-	-	-
Vanilla 2026.04	-	-	-	-	-	-	-	-	66.8
ToMe 2026.04	-	-	-	-	-	-	-	-	62.7
ATS 2026.04	-	-	-	-	-	-	-	-	63
EViT 2026.04	-	-	-	-	-	-	-	-	64.1
LLaVA-PruMerge+ 2026.04	-	-	-	-	-	-	-	-	68.3
LLaVA-FastV 2026.04	-	-	-	-	-	-	-	-	68.7
LLaVA-HiRED 2026.04	-	-	-	-	-	-	-	-	66.4
Dynamic-LLaVA-7B_I 2026.04	-	-	-	-	-	-	-	-	69.1
DASH 2026.04	-	-	-	-	-	-	-	-	64.9
LLaVA-1.5 2026.05	-	-	-	-	-	-	-	-	66.8
Qwen-VL-Chat 2026.05	-	-	-	-	-	-	-	-	68.2
MiniCPM-V2 2026.05	-	-	-	-	-	-	-	-	80.4
InternVL2-2B 2026.05	-	-	-	-	-	-	-	-	94.1
Qwen2-VL-2B 2026.05	-	-	-	-	-	-	-	-	78.1
PruMerge 2026.05	-	-	-	-	-	-	-	-	68.5
PruMerge+ 2026.05	-	-	-	-	-	-	-	-	68.3
LLaVA-Mini 2026.05	-	-	-	-	-	-	-	-	69.7
FastV 2026.05	-	-	-	-	-	-	-	-	51.1
SparseVLM 2026.05	-	-	-	-	-	-	-	-	62.2
PyramidDrop 2026.05	-	-	-	-	-	-	-	-	69
VisionZip 2026.05	-	-	-	-	-	-	-	-	69
TinyLLaVA† 2026.05	-	-	-	-	-	-	-	-	60.9
TinyLLaVA† 2026.05	-	-	-	-	-	-	-	-	59.1
TinyLLaVA† 2026.05	-	-	-	-	-	-	-	-	65.3
Bunny-2B 2026.05	-	-	-	-	-	-	-	-	64.6
Imp-2B 2026.05	-	-	-	-	-	-	-	-	66.1
Mini-Gemini-2B 2026.05	-	-	-	-	-	-	-	-	63.1
MoE-LLaVA-2B 2026.05	-	-	-	-	-	-	-	-	63.1
LLaVA-MOD 2026.05	-	-	-	-	-	-	-	-	68
LLaVA-MOD 2026.05	-	-	-	-	-	-	-	-	69.2
TinyLLaVA† 2026.05	-	-	-	-	-	-	-	-	72
VEN-VL 2026.05	-	-	-	-	-	-	-	-	84.2
VEN-VL 2026.05	-	-	-	-	-	-	-	-	90.5
VEN-VL 2026.05	-	-	-	-	-	-	-	-	94.5