Share your thoughts, 1 month free Claude Pro on usSee more
WorkDL logo mark

Language Model Pre-training on C4 Llama 2 pre-training (val)

13.19Perplexity

RMSProp+Magma

12.414817.647422.8828.1126Feb 17, 2026
Updated 1mo ago

Evaluation Results

MethodLinks
2026.02
13.19
2026.02
13.71
2026.02
13.82
2026.02
13.95
2026.02
14.2
2026.02
14.3
2026.02
14.52
2026.02
15.19
2026.02
15.92
2026.02
16.16
2026.02
16.35
2026.02
16.37
2026.02
16.38
2026.02
16.41
2026.02
16.54
2026.02
16.85
2026.02
17.09
2026.02
17.28
2026.02
17.47
2026.02
17.74
2026.02
18.42
2026.02
18.56
2026.02
18.58
2026.02
21.66
2026.02
22.08
2026.02
22.16
2026.02
22.18
2026.02
22.34
2026.02
22.52
2026.02
22.64
2026.02
22.94
2026.02
23.07
2026.02
23.59
2026.02
23.98
2026.02
24.77
2026.02
28.55
2026.02
28.93
2026.02
29.05
2026.02
29.09
2026.02
29.29
2026.02
29.7
2026.02
29.98
2026.02
30.18
2026.02
30.31
2026.02
30.79
2026.02
31.55
2026.02
32.57