Share your thoughts, 1 month free Claude Pro on usSee more

Long-context retrieval and reasoning on RULER 8k branch-stress check

0.02NIAH Single-Key Score

Llama-3.1-8B

Updated 2mo ago

Evaluation Results

Method	Links
Llama-3.1-8B 2026.05		0.02	0.92	0.14	0.004	0.193	0.246	0.077
Llama-3.1-8B 2026.05		0.02	0.64	0.048	0.02	0.147	0.159	0.039
Llama-3.1-8B 2026.05		0	0.4	0.044	0.08	0.007	0.103	0.029
Mistral-7B 2026.05		0	0.42	0.008	0.248	0.08	0.049	0.044
Mistral-7B 2026.05		0	0.44	0.008	0.052	0.007	0.077	0.013
Mistral-7B 2026.05		0	0.4	0.004	0.138	0.027	0.112	0.04
Qwen3-8B 2026.05		0	0.66	0.176	0.016	0.033	0.157	0.032
Qwen3-8B 2026.05		0	0.74	0.12	0.07	0.007	0.185	0.046
Qwen3-8B 2026.05		0	0.76	0.06	0.162	0.033	0.19	0.047