Share your thoughts, 1 month free Claude Pro on usSee more
WorkDL logo mark

Long-context Understanding on RULER 4k (test)

95.7RULER 4k Score

ExpectedAttention

9.932.17554.4576.725May 25, 2026
Updated 7d ago

Evaluation Results

MethodLinks
2026.05
95.7
2026.05
95.6
2026.05
95.6
2026.05
95.5
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
95.3
2026.05
93.8
2026.05
93.8
2026.05
93.3
2026.05
93.2
2026.05
92.6
2026.05
92.2
2026.05
92.1
2026.05
92.1
2026.05
92.1
2026.05
92.1
2026.05
92.1
2026.05
91.4
2026.05
90.3
2026.05
89.4
2026.05
89
2026.05
88.8
2026.05
88.6
2026.05
87.3
2026.05
85
2026.05
84.5
2026.05
84
2026.05
83.1
2026.05
82.8
2026.05
82.5
2026.05
81.8
2026.05
79.4
2026.05
78.9
2026.05
78.6
2026.05
78.4
2026.05
78.3
2026.05
77.6
2026.05
77.1
2026.05
76.2
2026.05
75.9
2026.05
75.5
2026.05
75.1
2026.05
72.9
2026.05
71.5
2026.05
70.8
2026.05
68.8
2026.05
66.3
2026.05
65.8
2026.05
64.4
2026.05
63.3
2026.05
63.2
2026.05
62.4
2026.05
62
2026.05
57.6
2026.05
57.1
2026.05
55.7
2026.05
55.2
2026.05
46.2
2026.05
44.8
2026.05
43.6
2026.05
43.4
2026.05
41.5
2026.05
41.3
2026.05
40.8
2026.05
38.6
2026.05
37.9
2026.05
37.5
2026.05
33.1
2026.05
31.9
2026.05
30.6
2026.05
29.7
2026.05
29.6
2026.05
29.2
2026.05
28.1
2026.05
24.7
2026.05
23.1
2026.05
19.9
2026.05
19.8
2026.05
19.5
2026.05
19.2
2026.05
13.2