Share your thoughts, 1 month free Claude Pro on usSee more

Grounded Video Question Answering on DeVE-QA 1.0 (test)

0.582mIoP

Human

Updated 1mo ago

Evaluation Results

Method	Links
Human 2024.09		0.582	0.623	0.439	0.527	0.847	0.624
DeVi-Gemini-2.0 2024.09		0.349	0.328	0.217	0.185	0.721	0.277
DeVi-GPT-4o 2024.09		0.338	0.322	0.207	0.174	0.719	0.271
LLoVi 2024.09		0.275	0.27	0.179	0.13	0.639	0.229
SeViLA 2024.09		0.258	0.199	0.212	0.115	0.627	0.161
LongVA 2024.09		0.249	0.247	0.169	0.152	0.662	0.208
Temp[CLIP](NG+) 2024.09		0.246	0.248	0.125	0.091	0.589	0.149
VideoLLaMA2 2024.09		0.237	0.22	0.129	0.101	0.62	0.192
Qwen2-VL 2024.09		0.236	0.232	0.165	0.147	0.639	0.201
VideoChat2 2024.09		0.231	0.218	0.142	0.125	0.592	0.186
LLaVA-Next-Video 2024.09		0.225	0.211	0.138	0.107	0.569	0.174
FrozenBiLM(NG+) 2024.09		0.212	0.182	0.085	0.062	0.616	0.145