Our new X account is live! Follow @wizwand_team for updates

Mathematical Reasoning on GSM8K (test)

97.72Accuracy

Claude 3.5 Sonnet

Updated 3d ago

Evaluation Results

Method
Claude 3.5 Sonnet 2024.06	97.72	-	1.35	-	-	-	-	-	-	-	-	-	-	-
GPT-4 Code 2023.10	97	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4-0613 2023.12	97	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 Code+Self-Verification (K=5) 2023.11	97	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 Code Interpreter 2024.02	97	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o 2024.06	96.43	-	1.71	-	-	-	-	-	-	-	-	-	-	-
SC-MAS 2026.01	96.09	-	-	-	-	-	-	-	-	-	-	-	-	-
MasRouter 2026.01	95.45	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-Contrast 2024.01	95.4	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT + Skill-Based (maj@5) 2024.05	95.38	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Math-7B-Instruct 2025.03	95.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-Reflection 2024.01	95.1	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-3.5-Sonnet-1022 2025.02	95	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-3-Opus 2024.06	95	-	-	-	-	-	-	-	-	-	-	-	-	-
AFlow 2026.01	94.91	-	-	-	-	-	-	-	-	-	-	-	-	-
AgentPrune 2026.01	94.89	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 (0314) 2024.06	94.7	-	-	-	-	-	-	-	-	-	-	-	-	-
GPTSwarm 2026.01	94.66	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4-Turbo (24-04-09) 2024.06	94.5	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini Ultra 2023.12	94.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini Ultra 2024.02	94.4	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT + Skill-Based 2024.05	94.31	-	-	-	-	-	-	-	-	-	-	-	-	-
SC-Vote 2024.01	94.2	-	-	-	-	-	-	-	-	-	-	-	-	-
GPTSwarm 2026.01	93.98	-	-	-	-	-	-	-	-	-	-	-	-	-
PromptLLM 2026.01	93.92	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT Prompt 2024.01	93.9	-	-	-	-	-	-	-	-	-	-	-	-	-
Math-Prompt 2024.01	93.9	-	-	-	-	-	-	-	-	-	-	-	-	-
AgentPrune 2026.01	93.88	-	-	-	-	-	-	-	-	-	-	-	-	-
ExpertPrompt 2024.01	93.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Hint-Prompt 2024.01	93.7	-	-	-	-	-	-	-	-	-	-	-	-	-
RouterDC 2026.01	93.68	-	-	-	-	-	-	-	-	-	-	-	-	-
Multi-Agent 2024.01	93.5	-	-	-	-	-	-	-	-	-	-	-	-	-
RouteLLM 2026.01	93.42	-	-	-	-	-	-	-	-	-	-	-	-	-
SC-Reflect 2024.01	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
PROMPTCOT-Qwen-7B 2025.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Vanilla 2026.01	93.17	-	-	-	-	-	-	-	-	-	-	-	-	-
SC-Select 2024.01	93.1	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT 2024.05	93	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o 2025.02	92.9	-	-	-	-	-	-	-	-	-	-	-	-	-
NuminaMath-7B 2025.03	92.9	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT + Random 2024.05	92.87	-	-	-	-	-	-	-	-	-	-	-	-	-
Vanilla 2026.01	92.68	-	-	-	-	-	-	-	-	-	-	-	-	-
Vanilla 2026.01	92.67	-	-	-	-	-	-	-	-	-	-	-	-	-
PROMPTCOT-DS-7B 2025.03	92.6	-	-	-	-	-	-	-	-	-	-	-	-	-
AFlow 2026.01	92.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Vanilla 2026.01	92.16	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.08	92	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.10	92	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.03	92	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2024.02	92	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.09	92	-	-	-	-	-	-	-	-	-	-	-	-	-
Openmathinstruct-7B 2025.03	92	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1-Distill-Qwen-7B 2025.03	91.7	-	-	-	-	-	-	-	-	-	-	-	-	-
BiRM 2025.03	91.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Math-7B 2024.09	91.6	-	-	-	-	-	-	-	-	-	-	-	-	-
NuminaMath-72B 2025.02	91.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemma-2 9B 2024.06	91.28	-	2.17	-	-	-	-	-	-	-	-	-	-	-
ORM 2025.03	91.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Math-72B 2024.09	90.8	-	-	-	-	-	-	-	-	-	-	-	-	-
FrugalGPT 2026.01	90.76	-	-	-	-	-	-	-	-	-	-	-	-	-
BiRM 2025.03	90.6	-	-	-	-	-	-	-	-	-	-	-	-	-
DART-Math-Llama3-70B (Uniform) 2024.06	90.4	-	-	-	-	-	-	-	-	-	-	-	-	-
ORM 2025.03	90.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama3-70B-VRT 2024.06	90.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama2-70B-Xwin-Math-V1.1+ 2024.06	90.2	-	-	-	-	-	-	-	-	-	-	-	-	-
ToT 2023.05	90	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 2024.07	90	-	-	-	-	-	-	-	-	-	-	-	-	-
KPDDS-7B 2025.03	89.9	-	-	-	-	-	-	-	-	-	-	-	-	-
DART-Math-Llama3-70B (Prop2Diff) 2024.06	89.6	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2-72B 2024.09	89.5	-	-	-	-	-	-	-	-	-	-	-	-	-
BiRM 2025.03	89.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama3-70B-MMIQC 2024.06	89.3	-	-	-	-	-	-	-	-	-	-	-	-	-
AutoCode4Math-DeepSeek 2025.02	89.26	-	-	-	-	-	-	-	-	-	-	-	-	-
PRM 2025.03	89.2	-	-	-	-	-	-	-	-	-	-	-	-	-
AutoCode4Math-Qwen2.5 2025.02	89.12	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2-Math-72B 2024.09	89.1	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama-3.1-405B 2024.09	89	-	-	-	-	-	-	-	-	-	-	-	-	-
ORM 2025.03	88.6	-	-	-	-	-	-	-	-	-	-	-	-	-
Evol-Instruct-7B 2025.03	88.5	-	-	-	-	-	-	-	-	-	-	-	-	-
PRM 2025.03	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-
ToRA (SC, K=50) 2023.11	88.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Baichuan-3 2024.02	88.2	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeekMath-RL 2024.02	88.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-Consistency + MATH-Minos (ORM) 2024.06	88.2	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeekMath-7B-VRT 2024.06	88.2	-	-	-	-	-	-	-	-	-	-	-	-	-
DART-Math-DSMath-7B (Uniform) 2024.06	88.2	-	-	-	-	-	-	-	-	-	-	-	-	-
AutoCode4Math-Qwen2 2025.02	88.1	-	-	-	-	-	-	-	-	-	-	-	-	-
PRM 2025.03	88.1	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama3-70B-MetaMath 2024.06	88	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-Consistency + MATH-Minos (PRM) 2024.06	87.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Dart-Math-DeepSeek-7B 2025.02	87.64	-	-	-	-	-	-	-	-	-	-	-	-	-
GLM-4 2024.02	87.6	-	-	-	-	-	-	-	-	-	-	-	-	-
MATH-Minos (PRM) 2024.06	87.6	-	-	-	-	-	-	-	-	-	-	-	-	-
BiRM 2025.03	87.6	-	-	-	-	-	-	-	-	-	-	-	-	-
ORM 2025.03	87.5	-	-	-	-	-	-	-	-	-	-	-	-	-
Chinchilla + SFT + ORM-RL 2023.03	87.3	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepMind's+RM Verification (K=96) 2023.11	87.3	-	-	-	-	-	-	-	-	-	-	-	-	-
MATH-Minos (ORM) 2024.06	87.3	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.11	87.1	-	-	-	-	-	-	-	-	-	-	-	-	-
PRM 2024.06	87.1	-	-	-	-	-	-	-	-	-	-	-	-	-

Showing 100 of 777 rows

...