Share your thoughts, 1 month free Claude Pro on usSee more

General Speculative Decoding Performance on MT-Bench, HumanEval, and GSM8K Aggregate

6.52Average Acceptance Length (τ)

PPOW

Updated 2d ago

Evaluation Results

Method
PPOW 2026.05	6.52	3.39
PPOW 2026.05	6.44	3.92
PPOW 2026.05	6.4	3.46
PPOW 2026.05	6.29	4.36
EAGLE-3 2026.05	6.16	3.17
EAGLE-3 2026.05	6.09	3.41
PPOW 2026.05	6	4.21
EAGLE-3 2026.05	5.99	3.81
EAGLE-3 2026.05	5.97	4.07
GRIFFIN 2026.05	5.95	3.31
EAGLE-3 2026.05	5.94	4.15
GRIFFIN 2026.05	5.89	4.12
EAGLE-3 2026.05	5.69	4
PPOW 2026.05	5.58	2.86
GRIFFIN 2026.05	5.52	3.9
PPOW 2026.05	5.48	2.72
PPOW 2026.05	5.36	2.93
EAGLE-3 2026.05	5.09	2.83
EAGLE-3 2026.05	5.09	2.67
EAGLE-3 2026.05	5.08	2.47
GRIFFIN 2026.05	5.06	2.81
EAGLE-3 2026.05	5.05	4.14
EAGLE-3 2026.05	4.9	3.33
EAGLE-3 2026.05	4.4	3.61
EAGLE-3 2026.05	4.23	2.88
EAGLE-3 2026.05	3.98	2.71
EAGLE-3 2026.05	3.86	3.17
SPD 2026.05	3.83	3.83
EAGLE-3 2026.05	3.64	2.99
EAGLE-3 2026.05	3.58	2.44
EAGLE-3 2026.05	3.51	2.39
EAGLE-3 2026.05	3.46	3.16
SPD 2026.05	3.44	3.44
SPD 2026.05	3.43	3.43
EAGLE-3 2026.05	3.4	2.79
EAGLE-3 2026.05	3.32	2.72
SPD 2026.05	3.28	3.28
SPD 2026.05	3.24	3.24
SPD 2026.05	3.21	3.21
SPD 2026.05	3.15	3.15
SPD 2026.05	3.13	3.13
EAGLE-3 2026.05	3.01	2.75
EAGLE-3 2026.05	2.94	2.69
SPD 2026.05	2.91	2.91
EAGLE-3 2026.05	2.88	2.63
SPD 2026.05	2.88	2.88
EAGLE-3 2026.05	2.88	2.63
SPD 2026.05	2.87	2.87
EAGLE-3 2026.05	2.86	1.95
SPD 2026.05	2.84	2.84
SPD 2026.05	2.83	2.83
SPD 2026.05	2.82	2.82
SPD 2026.05	2.82	2.82
SPD 2026.05	2.81	2.81
EAGLE-3 2026.05	2.75	2.26
SPD 2026.05	2.74	2.74
SPD 2026.05	2.72	2.72
EAGLE-3 2026.05	2.7	2.47
EAGLE-3 2026.05	2.65	1.8
SPD 2026.05	2.65	2.65
SPD 2026.05	2.64	2.64
SPD 2026.05	2.62	2.62
SPD 2026.05	2.56	2.56
SPD 2026.05	2.55	2.55
SPD 2026.05	2.53	2.53
EAGLE-3 2026.05	2.51	2.06
SPD 2026.05	2.49	2.49
SPD 2026.05	2.49	2.49
SPD 2026.05	2.48	2.48
SPD 2026.05	2.48	2.48
SPD 2026.05	2.46	2.46
SPD 2026.05	2.4	2.4
SPD 2026.05	2.38	2.38
PPSD 2026.05	2.35	1.88
SPD 2026.05	2.33	2.33
SPD 2026.05	2.33	2.33
EAGLE-3 2026.05	2.33	2.13
SPD 2026.05	2.29	2.29
SPD 2026.05	2.28	2.28
SPD 2026.05	2.28	2.28
SPD 2026.05	2.24	2.24
EAGLE-3 2026.05	2.22	2.03
PPSD 2026.05	2.2	1.47
SPD 2026.05	2.19	2.19
SPD 2026.05	2.17	2.17
PPSD 2026.05	2.17	1.74
PPSD 2026.05	2.13	1.89
SPD 2026.05	2.1	2.1
PPSD 2026.05	2.1	1.4
PPSD 2026.05	2.09	1.67
SPD 2026.05	2.08	2.08
PPSD 2026.05	2.08	1.66
SPD 2026.05	2.08	2.08
PPSD 2026.05	2.03	1.8
PPSD 2026.05	2.02	1.35
SPD 2026.05	2.02	2.02
PPSD 2026.05	1.98	1.76
PPSD 2026.05	1.93	1.54
PPSD 2026.05	1.93	1.29
PPSD 2026.05	1.92	1.28

Showing 100 of 112 rows