Our new X account is live! Follow @wizwand_team for updates

Language Modeling on Arxiv Proof-pile

2.35Perplexity

ProLong-13b

Updated 4d ago

Evaluation Results

Method	Links
ProLong-13b 2024.05		2.35	-	-	-	-	-
ProLong-7b 2024.05		2.45	-	-	-	-	-
ProLong-13b 2024.05		2.47	-	-	-	-	-
Yarn-13b-64k 2024.05		2.51	-	-	-	-	-
ProLong-7b 2024.05		2.58	-	-	-	-	-
Yarn-13b-64k 2024.05		2.63	-	-	-	-	-
ProLong-13b 2024.05		2.64	-	-	-	-	-
Yarn-7b-64k 2024.05		2.66	-	-	-	-	-
Code Llama-13b 2024.05		2.67	-	-	-	-	-
Llama2-13b 2024.05		2.71	-	-	-	-	-
ProLong-7b 2024.05		2.76	-	-	-	-	-
Llama2-13b 2024.05		2.77	-	-	-	-	-
Code Llama-7b 2024.05		2.77	-	-	-	-	-
Yarn-7b-64k 2024.05		2.79	-	-	-	-	-
Yarn-13b-64k 2024.05		2.82	-	-	-	-	-
Code Llama-13b 2024.05		2.82	-	-	-	-	-
Llama2-7b 2024.05		2.88	-	-	-	-	-
ProLong-13b 2024.05		2.89	-	-	-	-	-
Llama2-7b 2024.05		2.91	-	-	-	-	-
Code Llama-7b 2024.05		2.93	-	-	-	-	-
Yarn-7b-64k 2024.05		2.99	-	-	-	-	-
ProLong-7b 2024.05		3.02	-	-	-	-	-
Llama2-13b 2024.05		3.03	-	-	-	-	-
Code Llama-13b 2024.05		3.06	-	-	-	-	-
Code Llama-13b 2024.05		3.1	-	-	-	-	-
Yarn-13b-64k 2024.05		3.1	-	-	-	-	-
Code Llama-7b 2024.05		3.17	-	-	-	-	-
Llama2-7b 2024.05		3.19	-	-	-	-	-
Yarn-7b-64k 2024.05		3.29	-	-	-	-	-
Code Llama-7b 2024.05		3.53	-	-	-	-	-
Llama2-13b 2024.05		3.58	-	-	-	-	-
Llama2-7b 2024.05		4.22	-	-	-	-	-
Llama2 (None) 2024.01		-	2.92	-	-	-	-
Vicuna-v1.5-16k (PI) 2024.01		-	3.48	3.17	3.95	-	-
LongChat-v1.5-32k (PI) 2024.01		-	3.54	3.18	2.91	2.73	-
E2-LLM-16k 2024.01		-	2.96	2.71	2.54	-	-
E2-LLM-32k 2024.01		-	2.99	2.74	2.56	2.46	-
E2-LLM-64k 2024.01		-	3.06	2.81	2.62	2.51	2.56
Llama2 (None) 2024.01		-	2.78	-	-	-	-
Vicuna-v1.5-16k (PI) 2024.01		-	3.27	2.97	2.78	-	-
E2-LLM-16k 2024.01		-	2.82	2.59	2.43	-	-
E2-LLM-32k 2024.01		-	2.85	2.61	2.44	2.34	-
E2-LLM-64k 2024.01		-	2.91	2.67	2.49	2.39	2.44
NTK 2026.01		-	6.73	6.76	6.97	7.11	-
YaRN 2026.01		-	6.02	5.59	4.64	4.07	4.03
MrRoPE-Uni 2026.01		-	5.84	5.42	4.52	4.01	4.15
MrRoPE-Pro 2026.01		-	5.72	5.39	4.57	4.11	3.88