Long-context language modeling evaluation on RULER (8K Context)
89.59Average Accuracy (RULER 8K)
Full
Updated 11d ago
Evaluation Results
| Method | Links | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
2026.03 | 89.59 | 100 | 100 | 99.4 | 99.4 | 99.25 | 83.4 | 96.64 | 69.83 | 58.4 | |
2026.03 | 89.47 | 100 | 99.6 | 98.4 | 97.4 | 96.5 | 89.7 | 97.28 | 68.78 | 57.6 | |
2026.03 | 89.08 | 100 | 99.2 | 99.2 | 99 | 98.85 | 94.75 | 89.92 | 65.6 | 55.2 | |
2026.03 | 87.18 | 99.6 | 99.4 | 98.8 | 95.6 | 88.4 | 80.25 | 97.52 | 67.62 | 57.4 | |
2026.04 | 85.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 85.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 85.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 85 | - | - | - | - | - | - | - | - | - | |
2026.04 | 84.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 84.7 | - | - | - | - | - | - | - | - | - | |
2026.04 | 84.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 84.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 84.1 | - | - | - | - | - | - | - | - | - | |
2026.04 | 81.7 | - | - | - | - | - | - | - | - | - | |
2026.03 | 81.03 | 100 | 98.2 | 96.8 | 92 | 75.95 | 71.9 | 80.52 | 63.93 | 50 | |
2026.03 | 80.99 | 100 | 98 | 96.8 | 93 | 74.6 | 72.05 | 84.16 | 60.28 | 50 | |
2026.04 | 80.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 79.7 | - | - | - | - | - | - | - | - | - | |
2026.04 | 74.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 74.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 73.6 | - | - | - | - | - | - | - | - | - | |
2026.04 | 73.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 73.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 73.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 73 | - | - | - | - | - | - | - | - | - | |
2026.04 | 72.7 | - | - | - | - | - | - | - | - | - | |
2026.04 | 72.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 71.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 71.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 69.1 | - | - | - | - | - | - | - | - | - | |
2026.04 | 66.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 64.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 62.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 60.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 57.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 55.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 51.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 51.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 49 | - | - | - | - | - | - | - | - | - | |
2026.04 | 48.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 48.7 | - | - | - | - | - | - | - | - | - | |
2026.04 | 46.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 44.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 42.9 | - | - | - | - | - | - | - | - | - | |
2026.04 | 42.7 | - | - | - | - | - | - | - | - | - | |
2026.04 | 42.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 41.1 | - | - | - | - | - | - | - | - | - | |
2026.04 | 40.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 39.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 38 | - | - | - | - | - | - | - | - | - | |
2026.04 | 35.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 34.1 | - | - | - | - | - | - | - | - | - | |
2026.04 | 33 | - | - | - | - | - | - | - | - | - | |
2026.04 | 32.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 31.1 | - | - | - | - | - | - | - | - | - | |
2026.04 | 29.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 25.4 | - | - | - | - | - | - | - | - | - | |
2026.04 | 23.9 | - | - | - | - | - | - | - | - | - | |
2026.04 | 20.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 16.6 | - | - | - | - | - | - | - | - | - | |
2026.04 | 13.2 | - | - | - | - | - | - | - | - | - | |
2026.03 | 10.12 | 1.8 | 0.2 | 0.4 | 3 | 0.05 | 0.3 | 15.76 | 36.8 | 32.8 | |
2026.04 | 8.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 7.5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 6.8 | - | - | - | - | - | - | - | - | - | |
2026.04 | 6.2 | - | - | - | - | - | - | - | - | - | |
2026.04 | 5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 5 | - | - | - | - | - | - | - | - | - | |
2026.04 | 4.6 | - | - | - | - | - | - | - | - | - | |
2026.04 | 4.6 | - | - | - | - | - | - | - | - | - | |
2026.04 | 4.3 | - | - | - | - | - | - | - | - | - | |
2026.04 | 3.7 | - | - | - | - | - | - | - | - | - |