Share your thoughts, 1 month free Claude Pro on usSee more

Code Correctness Prediction on LiveCodeBench Python

0.067Brier Score

Verb. Conf.

Updated 6d ago

Evaluation Results

Method	Links
Verb. Conf. 2026.05		0.067
Func. Sets 2026.05		0.073
Cos. Sim. 2026.05		0.073
Seq. Prob. 2026.05		0.078
Prob. Margin 2026.05		0.079
Avg. Tok. Neg. 2026.05		0.081
Func. Sets 2026.05		0.083
P(True) 2026.05		0.086
Verb. Conf. 2026.05		0.09
Func. Neg. 2026.05		0.092
Func. Neg. 2026.05		0.104
Func. Equiv. Rate 2026.05		0.108
Cos. Sim. 2026.05		0.108
Seq. Prob. 2026.05		0.109
P(True) 2026.05		0.111
Prob. Margin 2026.05		0.112
Avg. Tok. Neg. 2026.05		0.118
Func. Neg. 2026.05		0.145
Func. Sets 2026.05		0.15
Func. Equiv. Rate 2026.05		0.151
Func. Neg. 2026.05		0.152
Func. Neg. 2026.05		0.153
Func. Equiv. Rate 2026.05		0.161
Func. Equiv. Rate 2026.05		0.161
Func. Sets 2026.05		0.161
Func. Equiv. Rate 2026.05		0.165
Func. Sets 2026.05		0.166
CodeBLEU 2026.05		0.179
Min. Tok. Neg. 2026.05		0.198
CodeBLEU 2026.05		0.203
P(True) 2026.05		0.212
CodeBLEU 2026.05		0.219
Min. Tok. Neg. 2026.05		0.244
Seq. Prob. 2026.05		0.258
Seq. Prob. 2026.05		0.263
Min. Tok. Neg. 2026.05		0.263
Prob. Margin 2026.05		0.272
Verb. Conf. 2026.05		0.279
Cos. Sim. 2026.05		0.281
CodeBLEU 2026.05		0.289
P(True) 2026.05		0.29
Avg. Tok. Neg. 2026.05		0.294
CodeBLEU 2026.05		0.294
Verb. Conf. 2026.05		0.295
Verb. Conf. 2026.05		0.302
Prob. Margin 2026.05		0.332
Seq. Prob. 2026.05		0.348
P(True) 2026.05		0.348
Cos. Sim. 2026.05		0.363
Avg. Tok. Neg. 2026.05		0.365
Min. Tok. Neg. 2026.05		0.371
Min. Prob. 2026.05		0.373
Prob. Margin 2026.05		0.406
Min. Tok. Neg. 2026.05		0.416
Cos. Sim. 2026.05		0.42
Avg. Tok. Neg. 2026.05		0.436
Min. Prob. 2026.05		0.449
Min. Prob. 2026.05		0.485
Min. Prob. 2026.05		0.678
Min. Prob. 2026.05		0.767