Share your thoughts, 1 month free Claude Pro on usSee more

Code Generation on HumanEval (Pass@k, AUC, and Token Usage)

94.1Pass@1

ExPairT-LLM

Updated 26d ago

Evaluation Results

Method
ExPairT-LLM 2025.11	94.1	-	-	-	-	-
Vanilla (Ref) 2026.03	93.7	-	-	-	-	-
MaAS 2025.11	92.85	-	-	-	-	-
AMRO-S 2026.03	92.2	-	-	-	-	-
OneFlow 2026.01	92.1	-	-	-	-	-
ExPairT-LLM 2025.11	91.7	-	-	-	-	-
OneFlow 2026.01	91.6	-	-	-	-	-
ExPairT-LLM 2025.11	91.6	-	-	-	-	-
BiRouter 2025.11	91.46	-	-	-	-	-
ExPairT-LLM 2025.11	91.3	-	-	-	-	-
AFlow 2026.01	91.1	-	-	-	-	-
MasRouter 2026.03	90.62	-	-	-	-	-
DyLAN 2025.11	90.42	-	-	-	-	-
CoT 2026.01	90.3	-	-	-	-	-
Vanilla (Ref) 2026.03	90.2	-	-	-	-	-
AFlow 2026.01	90.1	-	-	-	-	-
AFlow 2026.03	90.06	-	-	-	-	-
CoT SC 2026.01	89.8	-	-	-	-	-
GPTSwarm 2025.11	89.32	-	-	-	-	-
AgentVerse 2025.11	89.29	-	-	-	-	-
IO 2026.01	89.1	-	-	-	-	-
MultiPersona 2026.01	89.1	-	-	-	-	-
ExPairT-LLM 2025.11	89.1	-	-	-	-	-
LLM-Blender 2025.11	88.8	-	-	-	-	-
LLM-Debate 2025.11	88.68	-	-	-	-	-
SC (CoTx5) 2025.11	88.6	-	-	-	-	-
CoT 2025.11	88.13	-	-	-	-	-
Base 2025.09	88	-	-	-	-	-
GRPO 2025.09	87.8	-	-	-	-	-
RouterDC 2026.03	87.75	-	-	-	-	-
G-Designer 2025.11	87.5	-	-	-	-	-
AoT (Atom) 2026.03	87.5	-	-	-	-	-
ComplexCoT 2025.11	87.49	-	-	-	-	-
Single-agent 2025.11	87.08	-	-	-	-	-
IPO 2025.09	86.8	-	-	-	-	-
CoT 2026.03	86.69	-	-	-	-	-
Vanilla 2026.03	86.4	-	-	-	-	-
GPTSwarm 2026.03	86.28	-	-	-	-	-
GoT (Graph) 2026.03	85.8	-	-	-	-	-
Vanilla 2026.03	85.71	-	-	-	-	-
AFlow 2026.03	85.69	-	-	-	-	-
ToT (Tree) 2026.03	85.2	-	-	-	-	-
MacNet 2025.11	84.57	-	-	-	-	-
LLM-Debate 2026.03	84.38	-	-	-	-	-
RouteLLM 2026.03	83.85	-	-	-	-	-
Vanilla 2026.03	82.61	-	-	-	-	-
IPO 2025.09	82.6	-	-	-	-	-
SafeKey 2025.09	81.9	-	-	-	-	-
Base 2025.09	81.7	-	-	-	-	-
SafeKey 2025.09	81	-	-	-	-	-
GRPO 2025.09	81	-	-	-	-	-
CODET 2025.11	80.9	-	-	-	-	-
B^4 2025.11	80.8	-	-	-	-	-
B^4 2025.11	80.5	-	-	-	-	-
Vanilla 2026.03	80.5	-	-	-	-	-
STAR 2025.09	80	-	-	-	-	-
GRPO 2025.09	79.9	-	-	-	-	-
Base 2025.09	79.5	-	-	-	-	-
IPO 2025.09	79.5	-	-	-	-	-
RealSafe 2025.09	79.2	-	-	-	-	-
RealSafe 2025.09	77.8	-	-	-	-	-
SafeChain 2025.09	77.4	-	-	-	-	-
STAR 2025.09	77.1	-	-	-	-	-
Reasoning 2026.01	76.63	-	-	-	-	-
SafeChain 2025.09	76.5	-	-	-	-	-
CODET 2025.11	74.1	-	-	-	-	-
Claude-Haiku-4.5 2026.03	73.7	-	-	-	-	-
B^4 2025.11	70.5	-	-	-	-	-
FineRouter 2026.03	68.4	-	-	-	-	-
TI-DPO 2025.05	68	-	-	-	-	-
B^4 2025.11	66.6	-	-	-	-	-
CODET 2025.11	65.4	-	-	-	-	-
Original 2025.11	65.4	-	-	-	-	-
B^4 2025.11	64	-	-	-	-	-
TPO 2025.05	64	-	-	-	-	-
GRPO 2025.05	63.8	-	-	-	-	-
CPO 2025.05	63.5	-	-	-	-	-
Claude-Sonnet-4.5 2026.03	63.2	-	-	-	-	-
MLP 2026.03	63.2	-	-	-	-	-
KTO 2025.05	63	-	-	-	-	-
CODET 2025.11	62.5	-	-	-	-	-
DPO 2025.05	62	-	-	-	-	-
TDPO 2025.05	62	-	-	-	-	-
ReasonAny 2026.01	61.71	-	-	-	-	-
SIMPO 2025.05	61.5	-	-	-	-	-
SFT 2025.05	61	-	-	-	-	-
IPO 2025.05	59	-	-	-	-	-
Mistral-Large 2026.03	57.9	-	-	-	-	-
Dele-SimKO 2026.01	57.1	80.5	83.5	73.2	5.8	-
Dele-GRPO 2026.01	56.4	79.8	82.5	71.2	5.9	-
LCoT-SimKO 2026.01	56.2	79.2	82	71.8	6	-
TGR-Latent 2026.01	56.1	81.1	84.2	73.5	4.6	-
TGR-Token 2026.01	55.3	78.5	81.8	70.8	4.4	-
CODET 2025.11	55.1	-	-	-	-	-
LCoT-GRPO 2026.01	55	76.8	79.5	69.5	6	-
PSampling 2026.01	52.8	74.5	77.8	67.2	3.6	-
Qwen3-235B-A22B 2026.03	52.6	-	-	-	-	-
DARE 2026.01	49.4	-	-	-	-	-
IOA (Ours) 2026.02	47.67	-	-	-	-	-
DeepSeek-R1 2026.03	47.4	-	-	-	-	-

Showing 100 of 236 rows