Share your thoughts, 1 month free Claude Pro on usSee more

Question Answering on PubMedQA (test)

82.4Accuracy

AccurateRAG

Updated 1mo ago

Evaluation Results

Method
AccurateRAG 2025.10	82.4	-	-	-	-	-	-	-
Med-PaLM 2 2023.05	81.8	-	-	-	-	-	-	-
DEEPMED-14B-RL 2026.01	81.8	-	-	-	-	-	-	-
GPT-4 2022.07	81.2	-	-	-	-	-	-	-
Med-PaLM 2 2025.12	81	-	-	-	-	-	-	-
GPT-4 2025.12	81	-	-	-	-	-	-	-
AlphaMed-70B 2026.01	80.9	-	-	-	-	-	-	-
HuatuoGPT-o1-70B 2026.01	80.6	-	-	-	-	-	-	-
GPT-4-base 2023.05	80.4	-	-	-	-	-	-	-
DEEPMED-14B-SFT 2026.01	80.4	-	-	-	-	-	-	-
BaiChuan-M2-32B 2026.01	79.2	-	-	-	-	-	-	-
Flan-PaLM 2023.05	79	-	-	-	-	-	-	-
QuarkMed-32B 2026.01	79	-	-	-	-	-	-	-
PubMed Reasoner 2026.03	78.32	-	-	-	-	-	-	-
Codex 5-shot CoT 2022.07	78.2	-	-	-	-	-	-	-
BioGPT 2022.07	78.2	-	-	-	-	-	-	-
BioGPT 2025.12	78.2	-	-	-	-	-	-	-
GPT-4 2025.12	78.2	-	-	-	-	-	-	-
Human (expert score) 2022.07	78	-	-	-	-	-	-	-
Human performance 2026.03	78	-	-	-	-	-	-	-
Meissa 2026.03	77.9	-	-	-	-	-	-	-
M1-1K-32B 2026.01	77.6	-	-	-	-	-	-	-
MedResaon-8B 2026.01	77.6	-	-	-	-	-	-	-
M1-1K-7B 2026.01	77.5	-	-	-	-	-	-	-
MedPalm v2 2022.07	77.4	-	-	-	-	-	-	-
PubMed Reasoner 2026.03	77.26	-	-	-	-	-	-	-
Self-reflection 2026.03	77.12	-	-	-	-	-	-	-
Self-reflection 2026.03	77.08	-	-	-	-	-	-	-
Qwen3-VL-4B 2026.03	76.8	-	-	-	-	-	-	-
Kimi-K2-Thinking-1TB 2026.01	76.6	-	-	-	-	-	-	-
PubMed Reasoner 2026.03	76.42	-	-	-	-	-	-	-
Self-reflection agent 2026.03	76.22	-	-	-	-	-	-	-
Tongyi-DeepResearch-30BA3B 2026.01	76.2	-	-	-	-	-	-	-
Gemini2.5-Pro 2026.01	76	-	-	-	-	-	-	-
Qwen3-30BA3B-Thinking 2026.01	76	-	-	-	-	-	-	-
Deepseek-v3.2-685B 2026.01	75.8	-	-	-	-	-	-	-
Gemini-2.5 Pro 2026.03	75.64	-	-	-	-	-	-	-
Llama 3.1 8B Instruct 2026.04	75.6	-	-	54.06	-	-	-	-
Qwen3-14B 2026.01	75.4	-	-	-	-	-	-	-
GPT-4 2023.05	75.2	-	-	-	-	-	-	-
GPT4o 2026.03	75.2	-	-	-	-	-	-	-
Med-PaLM 2 2023.05	75	-	-	-	-	-	-	-
GPT-4V 2026.03	75	-	-	-	-	-	-	-
Without retrieval 2026.03	74.89	-	-	-	-	-	-	-
AccurateRAG 2025.10	74.6	-	-	-	-	-	-	-
DRAGON 2022.10	73.4	-	-	-	-	-	-	-
RAFT 2025.10	73.3	-	-	-	-	-	-	-
RAG method 2026.03	73.28	-	-	-	-	-	-	-
GPT-3.5 Turbo 1106 2024.02	72.66	-	-	-	-	-	-	-
BioLinkBERT + GreaseLM 2022.10	72.4	-	-	-	-	-	-	-
RAG method 2026.03	72.3	-	-	-	-	-	-	-
BioLinkBERT 2022.10	72.2	-	-	-	-	-	-	-
Mistral 7B Instruct 2024.02	72.2	-	-	-	-	-	-	-
BioLinkBERT + QAGNN 2022.10	72.1	-	-	-	-	-	-	-
Gemini-3-flash 2026.03	71.9	-	-	-	-	-	-	-
LLaMA 2 + RAG 2025.12	71.8	-	-	-	-	-	-	-
LLaMA 2 + RAG 2025.12	71.8	-	-	-	-	-	-	-
Oracle 2026.04	71.25	-	-	-	-	-	-	-
Oracle 2026.04	71.25	-	-	-	-	-	-	-
Self-reflection agent 2026.03	71.12	-	-	-	-	-	-	-
PubMed Reasoner 2026.03	71.08	-	-	-	-	-	-	-
Without retrieval 2026.03	70.2	-	-	-	-	-	-	-
BioMistral 7B DARE 2024.02	70	-	-	-	-	-	-	-
Falcon + RAG 2025.12	68.9	-	-	-	-	-	-	-
RAFT 2025.10	68.3	-	-	-	-	-	-	-
BioMistral 7B SLERP 2024.02	68.1	-	-	-	-	-	-	-
BioBERT 2025.12	68.1	-	-	-	-	-	-	-
Without retrieval 2026.03	68.08	-	-	-	-	-	-	-
BioBERT 2026.04	68.08	-	-	52.72	-	-	-	-
Self-reflection agent 2026.03	68.06	-	-	-	-	-	-	-
BioMistral 7B Ensemble 2024.02	68	-	-	-	-	-	-	-
LoRA FT 2ep 10k context 2026.04	68	-	-	46.69	-	-	-	-
PubMed Reasoner 2026.03	67.24	-	-	-	-	-	-	-
Gemini-3-flash 2026.03	66.7	-	-	-	-	-	-	-
RankRAG 2025.10	65	-	-	-	-	-	-	-
LLaMA 2 2025.12	64.3	-	-	-	-	-	-	-
SFT 2026.03	64.2	-	-	-	-	-	-	-
NOISY 2026.04	64.05	-	-	-	-	-	-	-
PPO 2026.03	63.6	-	-	-	-	-	-	-
Full FT 5ep 16k context 2026.04	62.8	-	-	38.69	-	-	-	-
Llama 3.2 3B Instruct 2026.04	62.4	-	-	40.93	-	-	-	-
TEP 2026.01	62.02	-	-	-	-	-	-	-
GPT-4V 2026.03	61.5	-	-	-	-	-	-	-
Falcon 2025.12	61.2	-	-	-	-	-	-	-
Oracle 2026.04	61	-	-	-	-	-	-	-
Oracle 2026.04	61	-	-	-	-	-	-	-
REALM 2026.04	60.95	-	-	-	-	-	-	-
REALM 2026.04	60.55	-	-	-	-	-	-	-
DSPy 2026.01	60.26	-	-	-	-	-	-	-
BioBERT 2022.10	60.2	-	-	-	-	-	-	-
HBC 2026.01	58.8	-	-	-	-	-	-	-
BioMedGPT-LM-7B 2024.02	58.6	-	-	-	-	-	-	-
NOISY 2026.04	58.45	-	-	-	-	-	-	-
Oracle 2026.04	58	-	-	-	-	-	-	-
Oracle 2026.04	58	-	-	-	-	-	-	-
REALM 2026.04	57.65	-	-	-	-	-	-	-
CoT 2026.01	57.34	-	-	-	-	-	-	-
Qwen3-VL-4B 2026.03	57.3	-	-	-	-	-	-	-
TextGrad 2026.01	56.96	-	-	-	-	-	-	-
RAAT + DTA 2025.05	56.6	59.1	56.2	57.6	52.1	57.5	54.5	-

Showing 100 of 178 rows