Share your thoughts, 1 month free Claude Pro on usSee more

Code Correctness Prediction on MultiPL-E Java

0.075ECE

Min. Tok. Neg.

Updated 6d ago

Evaluation Results

Method	Links
Min. Tok. Neg. 2026.05		0.075
CodeBLEU 2026.05		0.084
CodeBLEU 2026.05		0.086
CodeBLEU 2026.05		0.089
Min. Tok. Neg. 2026.05		0.099
Min. Tok. Neg. 2026.05		0.105
Min. Tok. Neg. 2026.05		0.123
CodeBLEU 2026.05		0.149
Func. Neg. 2026.05		0.155
Min. Tok. Neg. 2026.05		0.164
Func. Neg. 2026.05		0.189
Func. Neg. 2026.05		0.197
Func. Equiv. Rate 2026.05		0.198
Func. Neg. 2026.05		0.206
CodeBLEU 2026.05		0.209
Min. Prob. 2026.05		0.211
Func. Equiv. Rate 2026.05		0.212
Verb. Conf. 2026.05		0.22
Func. Equiv. Rate 2026.05		0.221
Func. Equiv. Rate 2026.05		0.222
Func. Neg. 2026.05		0.223
Func. Sets 2026.05		0.229
Func. Equiv. Rate 2026.05		0.241
Min. Prob. 2026.05		0.244
Min. Prob. 2026.05		0.249
Func. Sets 2026.05		0.262
Min. Prob. 2026.05		0.289
Func. Sets 2026.05		0.294
Func. Sets 2026.05		0.297
Min. Prob. 2026.05		0.3
Func. Sets 2026.05		0.308
P(True) 2026.05		0.324
Verb. Conf. 2026.05		0.342
P(True) 2026.05		0.35
Seq. Prob. 2026.05		0.359
Seq. Prob. 2026.05		0.374
Prob. Margin 2026.05		0.375
Verb. Conf. 2026.05		0.375
Prob. Margin 2026.05		0.386
Cos. Sim. 2026.05		0.394
Avg. Tok. Neg. 2026.05		0.4
Avg. Tok. Neg. 2026.05		0.413
Cos. Sim. 2026.05		0.414
P(True) 2026.05		0.416
Cos. Sim. 2026.05		0.42
P(True) 2026.05		0.424
Verb. Conf. 2026.05		0.425
Seq. Prob. 2026.05		0.431
Prob. Margin 2026.05		0.432
Prob. Margin 2026.05		0.433
Seq. Prob. 2026.05		0.435
Verb. Conf. 2026.05		0.447
Cos. Sim. 2026.05		0.448
Avg. Tok. Neg. 2026.05		0.451
Avg. Tok. Neg. 2026.05		0.463
Seq. Prob. 2026.05		0.465
P(True) 2026.05		0.466
Prob. Margin 2026.05		0.468
Cos. Sim. 2026.05		0.486
Avg. Tok. Neg. 2026.05		0.493