Code Generation on HumanEval
7,927Pass@1
MATRIX-Gen-SFT
Updated 2d ago
Evaluation Results
| Method | Links | ||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
2024.10 | 7,927 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,866 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,439 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,439 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,378 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,195 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 7,134 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 6,951 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 4,930 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 4,817 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 4,329 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 4,207 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 3,659 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 3,659 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.10 | 3,354 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 98.73 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 98.37 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 98.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 98.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 98.17 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 97.78 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 97.78 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 97.56 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 97.15 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 97.15 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 97 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 97 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 97 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 96.95 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 96.95 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 96.84 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 96.84 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 96.54 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2023.12 | 96.3 | - | 42.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 96.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 96.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 95.83 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.11 | 95.73 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 2.24 | |
2026.02 | 95.57 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 94.94 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 94.86 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.11 | 94.71 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 1.22 | |
2025.09 | 94.65 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 83.26 | - | - | |
2026.02 | 94.36 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 94.21 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.05 | 93.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 93.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 93.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 93.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 93.54 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.11 | 93.49 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 93.47 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
| 93.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | ||
2026.01 | 93.15 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 92.96 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 92.88 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.09 | 92.85 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 80.43 | - | - | |
2025.12 | 92.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 92.68 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 92.56 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 92.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.11 | 92.48 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 92.32 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 92.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 92.27 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
| 92.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | ||
2025.12 | 92.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 92.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.07 | 92 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.07 | 92 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 91.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 91.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 91.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 91.43 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 91.22 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 91.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 91.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.05 | 91 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2023.12 | 91 | - | 34.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 91 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.09 | 90.93 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 79.73 | - | - | |
| 90.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | ||
2024.12 | 90.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 90.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 90.67 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 90.62 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.09 | 90.62 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 80.66 | - | - | |
2025.09 | 90.55 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 80.18 | - | - | |
2023.12 | 90.2 | - | 33.4 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.07 | 90.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.07 | 90.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 90.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 90.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.02 | 90.15 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 90.04 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.11 | 90.04 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2026.01 | 89.84 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2023.12 | 89.6 | - | 54.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2024.12 | 89.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
2025.12 | 89.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
Showing 100 of 1335 rows
...