Our new X account is live! Follow @wizwand_team for updates
WorkDL logo mark

Language Model Pre-training on C4 Llama 2 pre-training (val)

13.19Perplexity

RMSProp+Magma

12.414817.647422.8828.1126Feb 17, 2026
Updated 4d ago

Evaluation Results

MethodLinks
2026.02
13.19
2026.02
13.71
2026.02
13.82
2026.02
13.95
2026.02
14.2
2026.02
14.3
2026.02
14.52
2026.02
15.19
2026.02
15.92
2026.02
16.16
2026.02
16.35
2026.02
16.37
2026.02
16.38
2026.02
16.41
2026.02
16.54
2026.02
16.85
2026.02
17.09
2026.02
17.28
2026.02
17.47
2026.02
17.74
2026.02
18.42
2026.02
18.56
2026.02
18.58
2026.02
21.66
2026.02
22.08
2026.02
22.16
2026.02
22.18
2026.02
22.34
2026.02
22.52
2026.02
22.64
2026.02
22.94
2026.02
23.07
2026.02
23.59
2026.02
23.98
2026.02
24.77
2026.02
28.55
2026.02
28.93
2026.02
29.05
2026.02
29.09
2026.02
29.29
2026.02
29.7
2026.02
29.98
2026.02
30.18
2026.02
30.31
2026.02
30.79
2026.02
31.55
2026.02
32.57