Share your thoughts, 1 month free Claude Pro on usSee more

Mathematical Reasoning on AIME 2025 (test)

88.9Pass@1 Rate

OpenAI-o3

Updated 6d ago

Evaluation Results

Method
OpenAI-o3 2026.01	88.9	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1-0528 2026.01	87.5	-	-	-	-	-	-	-	-	-	-
PCL-Reasoner-V1.5 2026.01	85.6	-	-	-	-	-	-	-	-	-	-
PCL-Reasoner-V1 2026.01	84.2	-	-	-	-	-	-	-	-	-	-
OpenReasoning-Nemotron 2026.01	84	-	-	-	-	-	-	-	-	-	-
Gemini-2.5-Pro-0506 2026.01	83	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B 2026.01	81.5	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B 2025.08	81.5	-	-	-	-	-	-	-	-	-	-
Qwen2.5-32B-Instruct 2025.08	80	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	80	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	80	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	80	-	-	-	-	-	-	-	-	-	-
OpenAI-o1 2025.08	79.2	-	-	-	-	-	-	-	-	-	-
Grok-3-Beta(Think) 2025.08	77.3	-	-	-	-	-	-	-	-	-	-
Qwen2.5-32B-Instruct 2025.08	76.7	-	-	-	-	-	-	-	-	-	-
Qwen2.5-32B-Instruct 2025.08	76.7	-	-	-	-	-	-	-	-	-	-
OpenAI-o3-mini(medium) 2025.08	74.8	-	-	-	-	-	-	-	-	-	-
AM-Thinking-v1 2026.01	74.4	-	-	-	-	-	-	-	-	-	-
CoNL 2026.01	73.5	-	-	-	-	-	-	-	-	-	-
Skywork-OR1-32B 2026.01	73.3	-	-	-	-	-	-	-	-	-	-
Qwen2.5-32B-Instruct 2025.08	73.3	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	73.3	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	73.3	-	-	-	-	-	-	-	-	-	-
Qwen3-32B 2025.08	72.9	-	-	-	-	-	-	-	-	-	-
Large Model 2026.02	70	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1 2026.01	70	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1 2025.08	70	-	-	-	-	-	-	-	-	-	-
Qwen2.5-32B-Instruct 2025.08	70	-	-	-	-	-	-	-	-	-	-
QwQ-32B 2026.01	69.5	-	-	-	-	-	-	-	-	-	-
QwQ-32B 2025.08	69.5	-	-	-	-	-	-	-	-	-	-
RelayGen 2026.02	68.33	-	-	-	-	-	-	-	-	-	-
Skywork-OR1-32B-Preview 2025.08	68.2	-	-	-	-	-	-	-	-	-	-
CoNL 2026.01	67.4	-	-	-	-	-	-	-	-	-	-
MiroMind-M1-RL-32B 2025.08	65.6	-	-	-	-	-	-	-	-	-	-
R2R 2026.02	62.5	-	-	-	-	-	-	-	-	-	-
0-Shot Inference 2026.01	60	-	-	-	-	-	-	-	-	-	-
OpenThinker2-32B 2025.08	58.7	-	-	-	-	-	-	-	-	-	-
PPCV 2026.02	56.66	-	-	-	-	-	-	-	-	-	-
DeepSeek-Llama-70B 2025.08	56.3	-	-	-	-	-	-	-	-	-	-
Large Model 2026.02	53.3	-	-	-	-	-	-	-	-	-	-
R2R 2026.02	52.5	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	52.1	-	-	-	-	-	-	-	-	-	-
RelayGen 2026.02	50	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1-Distill-Qwen-32B 2026.01	49.6	-	-	-	-	-	-	-	-	-	-
LIMO-32B 2025.08	49.3	-	-	-	-	-	-	-	-	-	-
S1.1-32B 2025.08	49.3	-	-	-	-	-	-	-	-	-	-
OpenThinker-32B 2025.08	49.3	-	-	-	-	-	-	-	-	-	-
Phi-Decoding 2026.02	46.67	-	-	-	-	-	-	-	-	-	-
Speculative Thinking 2026.02	40.83	-	-	-	-	-	-	-	-	-	-
Predictive Decoding 2026.02	40.66	-	-	-	-	-	-	-	-	-	-
DeepSeek-Qwen-32B 2025.08	40	-	-	-	-	-	-	-	-	-	-
Chain-of-Thought 2026.02	38	-	-	-	-	-	-	-	-	-	-
CLIP-Cov + QAE 2025.09	37.4	-	56.29	-	-	-	-	-	-	-	-
2d_hetero 2026.04	36.7	-	-	-	-	-	-	-	-	-	-
DYNTS 2026.01	36.6	643	-	-	-	-	-	-	-	-	-
Transformers 2026.01	35.3	354.3	-	-	-	-	-	-	-	-	-
Clip-Higher + QAE 2025.09	34.9	-	57.92	-	-	-	-	-	-	-	-
KL-Cov + QAE 2025.09	33.44	-	51.62	-	-	-	-	-	-	-	-
KL-Cov 2025.09	33.33	-	45.86	-	-	-	-	-	-	-	-
H2O 2026.01	33.3	610.7	-	-	-	-	-	-	-	-	-
SnapKV 2026.01	33.3	633.1	-	-	-	-	-	-	-	-	-
2d_hetero 2026.04	33.3	-	-	-	-	-	-	-	-	-	-
CLIP-Cov 2025.09	33.02	-	52.27	-	-	-	-	-	-	-	-
Clip-Higher 2025.09	32.71	-	56.66	-	-	-	-	-	-	-	-
R-KV 2026.01	32.6	634.7	-	-	-	-	-	-	-	-	-
GSPO + QAE 2025.09	32.5	-	48.01	-	-	-	-	-	-	-	-
Small Model 2026.02	31.67	-	-	-	-	-	-	-	-	-	-
Window 2026.01	31.3	643	-	-	-	-	-	-	-	-	-
SepLLM 2026.01	31.3	647.6	-	-	-	-	-	-	-	-	-
GSPO 2025.09	31.15	-	46.59	-	-	-	-	-	-	-	-
Speculative Thinking 2026.02	30	-	-	-	-	-	-	-	-	-	-
full 2026.04	30	-	-	-	-	-	-	-	-	-	-
2d_uniform 2026.04	30	-	-	-	-	-	-	-	-	-	-
2d_hetero 2026.04	30	-	-	-	-	-	-	-	-	-	-
DYNTS 2026.01	29.3	443.5	-	-	-	-	-	-	-	-	-
StreamingLLM 2026.01	29.3	648.5	-	-	-	-	-	-	-	-	-
Transformers 2026.01	28.6	213.9	-	-	-	-	-	-	-	-	-
Small Model 2026.02	28.33	-	-	-	-	-	-	-	-	-	-
2d_hetero 2026.04	26.7	-	-	-	-	-	-	-	-	-	-
R-KV 2026.01	26	434.7	-	-	-	-	-	-	-	-	-
S1-32B 2025.08	25.3	-	-	-	-	-	-	-	-	-	-
RLAD 2026.02	25.1	-	-	-	47.1	-	-	-	-	-	-
SnapKV 2026.01	24.6	436.3	-	-	-	-	-	-	-	-	-
RLAD 2026.02	24.2	-	-	-	48.2	-	-	-	-	-	-
Qwen2.5-1.5B-DS 2026.02	24.2	-	-	-	45.6	-	-	-	-	-	-
Qwen3-1.7B 2026.02	23.3	-	-	-	47.9	-	-	-	-	-	-
2d 2026.04	23.3	-	-	-	-	-	-	-	-	-	-
2d 2026.04	23.3	-	-	-	-	-	-	-	-	-	-
KL-Cov 2026.05	23.07	-	-	-	-	56.67	-	-	-	-	-
Qwen2.5-1.5B-DS 2026.02	22.8	-	-	-	38.6	-	-	-	-	-	-
H2O 2026.01	22.6	423.4	-	-	-	-	-	-	-	-	-
GRPO 2026.05	22.08	-	-	-	-	53.33	-	-	-	-	-
UCPO 2026.05	21.51	-	-	-	-	56.67	-	-	-	-	-
Qwen3-1.7B 2026.02	21.4	-	-	-	39.9	-	-	-	-	-	-
Ent-Reg 2026.05	21.3	-	-	-	-	56.67	-	-	-	-	-
FGRPO 2026.05	21.25	-	-	-	-	53.33	-	-	-	-	-
Ent-Adv 2026.05	21.15	-	-	-	-	56.67	-	-	-	-	-
GRPO 2026.05	20.21	-	-	-	-	46.67	-	-	-	-	-
SepLLM 2026.01	20	445.1	-	-	-	-	-	-	-	-	-
Pass@K 2026.05	19.11	-	-	-	-	56.67	-	-	-	-	-

Showing 100 of 194 rows