Share your thoughts, 1 month free Claude Pro on usSee more
WorkDL logo mark

Code Generation on HumanEval @WizardCoder (test)

71.95Pass@1

BF16

-2.87816.548535.97555.4015Feb 16, 2024
Updated 1mo ago

Evaluation Results

MethodLinks
2024.02
71.95
2024.02
69.51
2024.02
68.9
2024.02
67.07
2024.02
66.46
2024.02
63.41
2024.02
63.41
2024.02
62.8
2024.02
57.92
2024.02
55.48
2024.02
54.88
2024.02
54.88
2024.02
53.66
2024.02
53.04
2024.02
50
2024.02
48.78
2024.02
46.34
2024.02
46.34
2024.02
45.73
2024.02
44.51
2024.02
42.07
2024.02
36.59
2024.02
34.15
2024.02
33.54
2024.02
29.27
2024.02
26.83
2024.02
23.17
2024.02
20.73
2024.02
20.12
2024.02
18.29
2024.02
16.46
2024.02
15.21
2024.02
14.63
2024.02
10.36
2024.02
7.31
2024.02
4.3
2024.02
4.27
2024.02
3.65
2024.02
1.83
2024.02
0.61
2024.02
0
2024.02
0
2024.02
0
2024.02
0
2024.02
0