Our new X account is live! Follow @wizwand_team for updates
WorkDL logo mark

Code Generation on HumanEval @WizardCoder (test)

71.95Pass@1

BF16

-2.87816.548535.97555.4015Feb 16, 2024
Updated 4d ago

Evaluation Results

MethodLinks
2024.02
71.95
2024.02
69.51
2024.02
68.9
2024.02
67.07
2024.02
66.46
2024.02
63.41
2024.02
63.41
2024.02
62.8
2024.02
57.92
2024.02
55.48
2024.02
54.88
2024.02
54.88
2024.02
53.66
2024.02
53.04
2024.02
50
2024.02
48.78
2024.02
46.34
2024.02
46.34
2024.02
45.73
2024.02
44.51
2024.02
42.07
2024.02
36.59
2024.02
34.15
2024.02
33.54
2024.02
29.27
2024.02
26.83
2024.02
23.17
2024.02
20.73
2024.02
20.12
2024.02
18.29
2024.02
16.46
2024.02
15.21
2024.02
14.63
2024.02
10.36
2024.02
7.31
2024.02
4.3
2024.02
4.27
2024.02
3.65
2024.02
1.83
2024.02
0.61
2024.02
0
2024.02
0
2024.02
0
2024.02
0
2024.02
0