Share your thoughts, 1 month free Claude Pro on usSee more

Code Correctness Prediction on MultiPL-E Java (Brier Score)

0.231Brier Score

CodeBLEU

Updated 6d ago

Evaluation Results

Method	Links
CodeBLEU 2026.05		0.231
Min. Tok. Neg. 2026.05		0.232
CodeBLEU 2026.05		0.233
CodeBLEU 2026.05		0.236
Min. Tok. Neg. 2026.05		0.237
Func. Neg. 2026.05		0.243
Min. Tok. Neg. 2026.05		0.245
Min. Tok. Neg. 2026.05		0.25
CodeBLEU 2026.05		0.252
Func. Neg. 2026.05		0.254
Func. Equiv. Rate 2026.05		0.259
Min. Prob. 2026.05		0.263
Min. Tok. Neg. 2026.05		0.263
Func. Sets 2026.05		0.266
CodeBLEU 2026.05		0.271
Func. Neg. 2026.05		0.272
Func. Equiv. Rate 2026.05		0.273
Func. Equiv. Rate 2026.05		0.274
Func. Neg. 2026.05		0.275
Func. Equiv. Rate 2026.05		0.28
Verb. Conf. 2026.05		0.282
Func. Sets 2026.05		0.283
Func. Neg. 2026.05		0.284
Min. Prob. 2026.05		0.303
Func. Equiv. Rate 2026.05		0.303
Min. Prob. 2026.05		0.306
Func. Sets 2026.05		0.314
Func. Sets 2026.05		0.314
Min. Prob. 2026.05		0.325
Func. Sets 2026.05		0.326
P(True) 2026.05		0.331
Min. Prob. 2026.05		0.34
Verb. Conf. 2026.05		0.354
P(True) 2026.05		0.36
Seq. Prob. 2026.05		0.364
Prob. Margin 2026.05		0.378
Verb. Conf. 2026.05		0.379
Seq. Prob. 2026.05		0.383
Prob. Margin 2026.05		0.394
Cos. Sim. 2026.05		0.396
Avg. Tok. Neg. 2026.05		0.4
Cos. Sim. 2026.05		0.413
Avg. Tok. Neg. 2026.05		0.415
Cos. Sim. 2026.05		0.419
P(True) 2026.05		0.419
P(True) 2026.05		0.423
Verb. Conf. 2026.05		0.425
Prob. Margin 2026.05		0.432
Seq. Prob. 2026.05		0.434
Seq. Prob. 2026.05		0.435
Prob. Margin 2026.05		0.438
Verb. Conf. 2026.05		0.438
Cos. Sim. 2026.05		0.445
Avg. Tok. Neg. 2026.05		0.45
Seq. Prob. 2026.05		0.46
Avg. Tok. Neg. 2026.05		0.463
Prob. Margin 2026.05		0.465
P(True) 2026.05		0.466
Cos. Sim. 2026.05		0.484
Avg. Tok. Neg. 2026.05		0.49