Share your thoughts, 1 month free Claude Pro on usSee more

Language Modeling on WikiText-2 (test)

2.56PPL

FP16

Updated 2d ago

Evaluation Results

Method
FP16 2025.11	2.56	-	-	-	-	-	-	-	-	-	-	-	-
BF16 2024.06	2.59	-	-	-	-	-	-	-	-	-	-	-	-
baseline 2024.01	2.59	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit 2024.01	2.6	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	2.75	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2025.11	2.75	-	-	-	-	-	-	-	-	-	-	-	-
PAROQ 2025.11	2.82	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2026.04	2.85	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.06	2.86	-	-	-	-	-	-	-	-	-	-	-	-
FP16 Baseline 2024.11	2.86	-	-	-	-	-	-	-	-	-	-	-	-
AWQ 2025.11	2.96	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	2.99	-	-	-	-	-	-	-	-	-	-	-	-
QUIP# 2025.11	2.99	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.06	3.12	-	-	-	-	-	-	-	-	-	-	-	-
baseline 2024.01	3.12	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit 2024.01	3.13	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.16	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.18	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.18	-	-	-	-	-	-	-	-	-	-	-	-
AQLM 2024.06	3.19	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.26	-	-	-	-	-	-	-	-	-	-	-	-
W16A16 2024.02	3.31	-	-	-	-	-	-	-	-	-	-	-	-
Llama-2 (FP16) 2025.03	3.31	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2023.11	3.32	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2023.11	3.32	-	-	-	-	-	-	-	-	-	-	-	-
Baseline 2024.03	3.32	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.06	3.32	-	-	-	-	-	-	-	-	-	-	-	-
Dense 2025.10	3.32	-	-	-	-	-	-	-	-	-	-	-	-
E-QAT 2025.11	3.33	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.35	-	-	-	-	-	-	-	-	-	-	-	-
AQLM 2024.06	3.36	-	-	-	-	-	-	-	-	-	-	-	-
NF4-asym 2023.11	3.4	-	-	-	-	-	-	-	-	-	-	-	-
NF4-sym 2023.11	3.42	-	-	-	-	-	-	-	-	-	-	-	-
NF4-asym 2023.11	3.42	-	-	-	-	-	-	-	-	-	-	-	-
INT4 2023.11	3.44	-	-	-	-	-	-	-	-	-	-	-	-
NF4-sym 2023.11	3.44	-	-	-	-	-	-	-	-	-	-	-	-
NF4-sym 2023.11	3.44	-	-	-	-	-	-	-	-	-	-	-	-
NF4-asym 2023.11	3.44	-	-	-	-	-	-	-	-	-	-	-	-
INT4 2023.11	3.46	-	-	-	-	-	-	-	-	-	-	-	-
INT4 2023.11	3.49	-	-	-	-	-	-	-	-	-	-	-	-
NF4-asym 2023.11	3.51	-	-	-	-	-	-	-	-	-	-	-	-
NF4-sym 2023.11	3.52	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.06	3.53	-	-	-	-	-	-	-	-	-	-	-	-
baseline 2024.01	3.53	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2025.05	3.53	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit-1% 2024.01	3.54	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit 2024.01	3.55	-	-	-	-	-	-	-	-	-	-	-	-
FlexGen-4bit 2024.01	3.56	-	-	-	-	-	-	-	-	-	-	-	-
ATOM-4bit 2024.01	3.57	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-3bit-1% 2024.01	3.57	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.58	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.59	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.6	-	-	-	-	-	-	-	-	-	-	-	-
QuaRot-128G 2024.03	3.61	-	-	-	-	-	-	-	-	-	-	-	-
nf4 2024.01	3.63	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-3bit 2024.01	3.63	-	-	-	-	-	-	-	-	-	-	-	-
GPTVQ 2024.06	3.64	-	-	-	-	-	-	-	-	-	-	-	-
ShiftAddLLM 2024.06	3.64	-	-	-	-	-	-	-	-	-	-	-	-
ShiftAddLLM (Acc.) 2024.06	3.64	-	-	-	-	-	-	-	-	-	-	-	-
FlexGen-3bit 2024.01	3.66	-	-	-	-	-	-	-	-	-	-	-	-
INT4 2023.11	3.67	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.68	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.7	-	-	-	-	-	-	-	-	-	-	-	-
QTIP 2024.06	3.7	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-2bit-1% 2024.01	3.7	-	-	-	-	-	-	-	-	-	-	-	-
ClusComp 2025.03	3.72	-	-	-	-	-	-	-	-	-	-	-	-
int4 2024.01	3.73	-	-	-	-	-	-	-	-	-	-	-	-
AFPQ (NF3-asym) 2023.11	3.74	-	-	-	-	-	-	-	-	-	-	-	-
AWQ 2024.06	3.74	-	-	-	-	-	-	-	-	-	-	-	-
SqueezeLLM 2025.03	3.77	-	-	-	-	-	-	-	-	-	-	-	-
ATOM-3bit 2024.01	3.78	-	-	-	-	-	-	-	-	-	-	-	-
GPTVQ 2024.06	3.79	-	-	-	-	-	-	-	-	-	-	-	-
QuaRot 2024.03	3.79	-	-	-	-	-	-	-	-	-	-	-	-
AFPQ (NF3-asym) 2023.11	3.82	-	-	-	-	-	-	-	-	-	-	-	-
AQLM 2024.06	3.83	-	-	-	-	-	-	-	-	-	-	-	-
INT3 2023.11	3.85	-	-	-	-	-	-	-	-	-	-	-	-
NF3-sym 2023.11	3.85	-	-	-	-	-	-	-	-	-	-	-	-
OPTQ 2024.06	3.88	-	-	-	-	-	-	-	-	-	-	-	-
AFPQ (NF3-asym) 2023.11	3.89	-	-	-	-	-	-	-	-	-	-	-	-
QuIP# 2024.06	3.91	-	-	-	-	-	-	-	-	-	-	-	-
NF3-sym 2023.11	3.92	-	-	-	-	-	-	-	-	-	-	-	-
FlexRound 2024.06	3.92	-	-	-	-	-	-	-	-	-	-	-	-
BTC-LLM 2025.05	3.94	-	-	-	-	-	-	-	-	-	-	-	-
INT3 2023.11	3.98	-	-	-	-	-	-	-	-	-	-	-	-
NF3-sym 2023.11	3.98	-	-	-	-	-	-	-	-	-	-	-	-
LUT-GEMM 2024.06	4.01	-	-	-	-	-	-	-	-	-	-	-	-
VPTQ 2025.05	4.01	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-2bit 2024.01	4.03	-	-	-	-	-	-	-	-	-	-	-	-
BTC-LLM 2025.05	4.03	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.06	4.1	-	-	-	-	-	-	-	-	-	-	-	-
baseline 2024.01	4.1	-	-	-	-	-	-	-	-	-	-	-	-
Original 2026.02	4.1	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2025.05	4.1	-	-	-	-	-	-	-	-	-	-	-	-
Baseline 2024.02	4.101	-	-	-	-	-	-	-	-	-	-	-	-
FP16 2024.02	4.101	-	-	-	-	-	-	-	-	-	-	-	-
Baseline 2024.02	4.101	-	-	-	-	-	-	-	-	-	-	-	-
INT3 2023.11	4.11	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit-1% 2024.01	4.11	-	-	-	-	-	-	-	-	-	-	-	-
KVQuant-4bit 2024.01	4.13	-	-	-	-	-	-	-	-	-	-	-	-
FlexGen-4bit 2024.01	4.14	-	-	-	-	-	-	-	-	-	-	-	-

Showing 100 of 1996 rows

...