Share your thoughts, 1 month free Claude Pro on usSee more
WorkDL logo mark

LLM Prefill throughput on LLM Prompt Length 512 (pp512)

5,128Throughput (tok/s)

uzu

428.241,648.372,868.54,088.63Jul 1, 2026
Updated 24d ago

Evaluation Results

MethodLinks
2026.07
5,128
2026.07
5,001
2026.07
4,993
2026.07
4,933
2026.07
4,690
2026.07
4,690
2026.07
4,690
2026.07
4,658
2026.07
4,654
2026.07
4,623
2026.07
4,623
2026.07
4,623
2026.07
2,817
2026.07
2,766
2026.07
2,728
2026.07
2,702
2026.07
2,642
2026.07
2,615
2026.07
2,615
2026.07
2,615
2026.07
2,597
2026.07
2,564
2026.07
2,564
2026.07
2,564
2026.07
1,292
2026.07
1,208
2026.07
1,187
2026.07
983
2026.07
943
2026.07
932
2026.07
929
2026.07
919
2026.07
905
2026.07
899
2026.07
899
2026.07
899
2026.07
893
2026.07
893
2026.07
893
2026.07
871
2026.07
838
2026.07
838
2026.07
721
2026.07
721
2026.07
668
2026.07
664
2026.07
639
2026.07
609