| Dataset Name | SOTA Method | Metric | Trend | ||
|---|---|---|---|---|---|
| Indic-English as (evaluation) | NSL Score100 | 25 | 25d ago | ||
Token Count1,303 | 7 | 10d ago | |||
| Financial | Token Count408 | 6 | 10d ago | ||
| GitHub | Token Count688 | 6 | 10d ago | ||
| Urdu (urd) | Bytes per Token1 | 6 | 25d ago | ||
| Telugu (te) | Bytes per Token4.43 | 6 | 25d ago | ||
| Tamil ta | Bytes per Token4.1 | 6 | 25d ago | ||
| Sindhi (snd) | Bytes per Token1.02 | 6 | 25d ago | ||
| Santali (sat) | Bytes per Token1.02 | 6 | 25d ago | ||
| Sanskrit san | Bytes per Token5.45 | 6 | 25d ago | ||
| Punjabi (pa) | Bytes per Token4.05 | 6 | 25d ago | ||
| Odia (or) | Bytes-per-token1.58 | 6 | 25d ago | ||
| Nepali (nep) | Bytes-per-token6.84 | 6 | 25d ago | ||
| Marathi mr | Bytes per Token6.49 | 6 | 25d ago | ||
| Manipuri (mni) | Bytes per Token2.81 | 6 | 25d ago | ||
| Malayalam ml | Bytes per Token5.26 | 6 | 25d ago | ||
| Maithili mai | Bytes-per-token5.39 | 6 | 25d ago | ||
| Kannada kn | Bytes per Token5.33 | 6 | 25d ago | ||
| Kashmiri kas | Bytes per Token5.29 | 6 | 25d ago | ||
| Hindi hi | Bytes per Token7.37 | 6 | 25d ago | ||
| Gujarati (gu) | Bytes per Token4.69 | 6 | 25d ago | ||
| Konkani gom | Bytes per Token4.55 | 6 | 25d ago | ||
| English | Bytes per Token3.65 | 6 | 25d ago | ||
| Dogri doi | Bytes per Token5.7 | 6 | 25d ago | ||
| Programming Code | Bytes per Token1.95 | 6 | 25d ago |
