Share your thoughts, 1 month free Claude Pro on usSee more
WorkDL logo mark

LLM Prefill throughput on LLM Prompt Length 128 (pp128)

4,796Throughput (tok/s)

llama.cpp

231.441,416.472,601.53,786.53Jul 1, 2026
Updated 24d ago

Evaluation Results

MethodLinks
2026.07
4,796
2026.07
4,684
2026.07
4,537
2026.07
4,466
2026.07
4,331
2026.07
4,331
2026.07
4,331
2026.07
4,288
2026.07
4,288
2026.07
4,288
2026.07
3,843
2026.07
3,742
2026.07
2,612
2026.07
2,555
2026.07
2,519
2026.07
2,490
2026.07
2,490
2026.07
2,490
2026.07
2,451
2026.07
2,438
2026.07
2,438
2026.07
2,438
2026.07
2,426
2026.07
2,342
2026.07
1,238
2026.07
1,146
2026.07
1,125
2026.07
919
2026.07
916
2026.07
907
2026.07
903
2026.07
888
2026.07
888
2026.07
888
2026.07
879
2026.07
866
2026.07
866
2026.07
866
2026.07
863
2026.07
815
2026.07
738
2026.07
738
2026.07
659
2026.07
659
2026.07
464
2026.07
415
2026.07
414
2026.07
407