Our new X account is live! Follow @wizwand_team for updates

Decoding latency on Synthetic Context Sequences (test)

0.019Latency (16k Context)

Full Cache

Updated 4d ago

Evaluation Results

Method	Links
Full Cache 2025.05		0.019	0.021	0.029	0.036	0.044
Full Cache 2025.05		0.024	0.033	0.05	0.062	0.082
Full Cache 2025.05		0.029	0.032	0.043	0.055	0.07
TailorKV 2025.05		0.041	0.062	0.098	0.132	0.17
TailorKV 2025.05		0.041	0.042	0.046	0.049	0.056
TailorKV 2025.05		0.045	0.047	0.054	0.054	0.056
Full Cache 2025.05		0.045	0.077	0.14	-	-
OffloadCache 2025.05		0.066	0.118	0.221	0.325	0.43
TailorKV 2025.05		0.066	0.067	0.072	0.076	0.079
PQCache 2025.05		0.085	0.087	0.09	0.092	0.094
OffloadCache 2025.05		0.102	0.205	0.417	0.626	0.843
PQCache 2025.05		0.104	0.105	0.108	0.108	0.11
PQCache 2025.05		0.108	0.111	0.112	0.115	0.12
OffloadCache 2025.05		0.124	0.227	0.435	0.743	0.992
PQCache 2025.05		0.13	0.138	0.139	0.144	0.15
OffloadCache 2025.05		0.433	0.838	1.767	3.253	4.468