Share your thoughts, 1 month free Claude Pro on usSee more

Multi-hop Question Answering on HotpotQA (test)

80.79F1

Gemini-2.5-Flash

Updated 3d ago

Evaluation Results

Method
Gemini-2.5-Flash 2026.02	80.79	-	-	-	-	-	-	65.68	-	-	-	-	-	-	-	-
GPT-5-mini 2026.02	80.19	-	-	-	-	-	-	63.63	-	-	-	-	-	-	-	-
Deepseek-V3.2 2026.02	79.91	-	-	-	-	-	-	64.15	-	-	-	-	-	-	-	-
Qwen3-30B 2026.02	78.33	-	-	-	-	-	-	63.05	-	-	-	-	-	-	-	-
CRAFT7B 2026.02	78	-	-	-	-	-	-	63.25	-	-	-	-	-	-	-	-
DenoiseFlow 2026.02	77.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
JudgeFlow 2026.02	77.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MermaidFlow 2026.02	77.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HELP 2026.02	75.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HippoRAG 2 2026.02	75.5	-	-	-	-	-	-	62.7	-	-	-	-	-	-	-	-
HippoRAG2 2026.02	75.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-4B 2026.02	75.32	-	-	-	-	-	-	60.4	-	-	-	-	-	-	-	-
NV-Embed-v2 (7B) 2026.02	75.3	-	-	-	-	-	-	62.8	-	-	-	-	-	-	-	-
NV-Embed-v2 2026.02	75.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MaAS 2026.02	75.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DyLAN 2026.02	74.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AFlow 2026.02	73.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GritLM-7B 2026.02	73.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPTSwarm 2026.02	73.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HyperGraphRAG 2026.02	73.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MultiCube-RAG 2026.02	72.9	-	-	-	-	-	-	61.3	-	-	-	-	-	-	-	-
LLM-Blender 2026.02	72.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MultiCube-RAG 2026.02	71.5	-	-	-	-	-	-	57.5	-	-	-	-	-	-	-	-
CatRAG 2026.02	71.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HippoRAG 2 2026.02	71.1	-	-	-	-	-	-	56.3	-	-	-	-	-	-	-	-
NV-Embed-v2 (7B) 2026.02	71	-	-	-	-	-	-	57.3	-	-	-	-	-	-	-	-
GTE-Qwen2-7B 2026.02	71	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Relink 2026.01	70.4	-	-	-	-	-	-	55.8	-	-	-	-	-	-	-	-
LLM-Debate 2026.02	70.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
RAPTOR 2026.02	69.5	-	-	-	-	-	-	56.8	-	-	-	-	-	-	-	-
RAPTOR 2026.02	69.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HippoRAG 2 2026.02	69.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
IGMiRAG 2026.02	69.1	-	-	-	-	-	-	54	-	-	-	-	-	-	-	-
CoT SC 2026.02	68.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GraphRAG 2026.02	68.6	-	-	-	-	-	-	55.2	-	-	-	-	-	-	-	-
GraphRAG 2026.02	68.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LightRAG 2026.02	68.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-7B 2026.02	68.12	-	-	-	-	-	-	53.3	-	-	-	-	-	-	-	-
IO 2026.02	68.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AceSearcher-8B 2026.04	68.07	-	-	-	-	-	-	37.19	42.91	-	-	-	-	-	-	-
Qwen2.5-7B 2026.02	67.92	-	-	-	-	-	-	53.4	-	-	-	-	-	-	-	-
CoT 2026.02	67.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GraphRAG 2026.02	67.6	-	-	-	-	-	-	51.4	-	-	-	-	-	-	-	-
ProGraph-R1 2026.01	67.57	-	-	-	-	-	-	60.94	-	-	-	-	-	-	-	-
CRAFT3B 2026.02	67.1	-	-	-	-	-	-	53.15	-	-	-	-	-	-	-	-
RankCoT 2026.02	65.8	-	-	-	-	-	-	53.5	-	-	-	-	-	-	-	-
Naive RAG 2026.02	65.1	-	-	-	-	-	-	50.2	-	-	-	-	-	-	-	-
HippoRAG 2026.01	64.7	-	-	-	-	-	-	49.8	-	-	-	-	-	-	-	-
RAPTOR 2026.02	64.7	-	-	-	-	-	-	50.6	-	-	-	-	-	-	-	-
text-embedding-3-small 2026.02	64.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
ADAS 2026.02	64.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
RAPTOR 2026.02	64.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
IRCoT 2026.02	64.1	-	-	-	-	-	-	53.9	-	-	-	-	-	-	-	-
NodeRAG 2026.02	64	-	-	-	-	-	-	50.1	-	-	-	-	-	-	-	-
HippoRAG 2026.02	63.5	-	-	-	-	-	-	52.6	-	-	-	-	-	-	-	-
HippoRAG 2026.02	63.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
FABLE(nodes) 2026.01	63.43	-	-	-	-	-	-	48	-	-	-	-	-	-	-	-
BM25 2026.02	63.4	-	-	-	-	-	-	52	-	-	-	-	-	-	-	-
BM25 2026.02	63.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
RAPTOR 2026.01	63.1	-	-	-	-	-	-	47.2	-	-	-	-	-	-	-	-
HERA (Qwen-3-14B) 2026.04	63.03	-	-	-	-	-	-	52.5	55.38	-	-	-	-	-	-	-
GTR (T5-base) 2026.02	62.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GTR 2026.02	62.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Naive RAG 2026.02	62.7	-	-	-	-	-	-	48.5	-	-	-	-	-	-	-	-
Graph-R1 2026.01	62.69	-	-	-	-	-	-	57.03	-	-	-	-	-	-	-	-
Qwen2.5-3B 2026.02	62.58	-	-	-	-	-	-	49.3	-	-	-	-	-	-	-	-
GenGround 2025.06	62.37	5	60.5	63	-	-	-	-	-	-	-	-	-	-	-	-
Contriever 2026.02	62.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Contriever 2026.02	62.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
FABLE(docs) 2026.01	62.22	-	-	-	-	-	-	46.5	-	-	-	-	-	-	-	-
DEC (Ours) 2025.06	62.11	3.32	58.52	60.32	-	-	-	-	-	-	-	-	-	-	-	-
ProGraph-R1 2026.01	61.9	-	-	-	-	-	-	55.47	-	-	-	-	-	-	-	-
Self-Refine 2026.02	60.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
EviOmni 2025.07	60.3	-	-	-	-	-	-	28.02	-	-	-	-	-	-	-	16.5
Qwen2.5-3B 2026.02	60.23	-	-	-	-	-	-	46.6	-	-	-	-	-	-	-	-
HippoRAG 2026.02	60	-	-	-	-	-	-	46.3	-	-	-	-	-	-	-	-
CoT 2025.07	59.84	-	-	-	-	-	-	27.25	-	-	-	-	-	-	-	3.32
BM25 2026.02	59.8	-	-	-	-	-	-	49.1	-	-	-	-	-	-	-	-
Direct CoT 2025.06	59.31	1	55	58.5	-	-	-	-	-	-	-	-	-	-	-	-
IQATR 2025.05	59.3	-	-	-	-	-	-	47.2	-	-	-	-	-	-	-	-
MetaTuner-I 2025.09	59.05	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
CRAFT1.5B 2026.02	59.04	-	-	-	-	-	-	45.7	-	-	-	-	-	-	-	-
LinearRAG 2026.02	59	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HippoRAG2 2026.01	58.87	-	-	-	-	-	-	41	-	-	-	-	-	-	-	-
DeepResearcher-7B 2026.04	58.86	-	-	-	-	-	-	35.23	40.65	-	-	-	-	-	-	-
MetaTuner-J 2025.09	58.85	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SEER 2025.07	58.63	-	-	-	-	-	-	25.81	-	-	-	-	-	-	-	14.3
Full 2025.07	58.5	-	-	-	-	-	-	25.82	-	-	-	-	-	-	-	1
Adaptive-Note 2025.05	58.4	-	-	-	-	-	-	45.6	-	-	-	-	-	-	-	-
ExSearch 2026.04	58.22	-	-	-	-	-	-	45.11	55.04	-	-	-	-	-	-	-
FilCo 2025.07	58.15	-	-	-	-	-	-	25.27	-	-	-	-	-	-	-	17.5
SearChain 2025.06	58.12	2.24	53.8	58	-	-	-	-	-	-	-	-	-	-	-	-
RECOMP 2025.07	58.02	-	-	-	-	-	-	24.84	-	-	-	-	-	-	-	5.44
HERA (Llama-3.1-8) 2026.04	57.91	-	-	-	-	-	-	48.01	53.28	-	-	-	-	-	-	-
Direct RAG 2025.06	57.39	1	57	62	-	-	-	-	-	-	-	-	-	-	-	-
GraphRAG 2026.01	56.9	-	-	-	-	-	-	45	-	-	-	-	-	-	-	-
Graph-R1 2026.01	56.75	-	-	-	-	-	-	50.78	-	-	-	-	-	-	-	-
LLMLingua-2 2025.07	56.65	-	-	-	-	-	-	23.45	-	-	-	-	-	-	-	4.52
IRCOT 2025.05	56.2	-	-	-	-	-	-	44.4	-	-	-	-	-	-	-	-
Gemini-2.5-Pro 2026.01	55.97	-	-	-	-	-	-	42.21	-	-	-	-	-	-	-	-

Showing 100 of 418 rows