Share your thoughts, 1 month free Claude Pro on usSee more

Code Correctness Prediction on LiveCodeBench Python (ECE)

0.015ECE

Seq. Prob.

Updated 6d ago

Evaluation Results

Method	Links
Seq. Prob. 2026.05		0.015
Prob. Margin 2026.05		0.022
Func. Sets 2026.05		0.024
Func. Neg. 2026.05		0.038
Cos. Sim. 2026.05		0.039
Func. Neg. 2026.05		0.041
Cos. Sim. 2026.05		0.044
Func. Neg. 2026.05		0.046
Avg. Tok. Neg. 2026.05		0.05
Seq. Prob. 2026.05		0.051
Prob. Margin 2026.05		0.059
Verb. Conf. 2026.05		0.06
Func. Sets 2026.05		0.071
Verb. Conf. 2026.05		0.072
Func. Neg. 2026.05		0.073
Func. Sets 2026.05		0.08
Min. Tok. Neg. 2026.05		0.082
CodeBLEU 2026.05		0.082
CodeBLEU 2026.05		0.085
P(True) 2026.05		0.087
Func. Sets 2026.05		0.09
Avg. Tok. Neg. 2026.05		0.091
Func. Equiv. Rate 2026.05		0.1
CodeBLEU 2026.05		0.1
Func. Equiv. Rate 2026.05		0.11
Func. Sets 2026.05		0.11
P(True) 2026.05		0.111
Func. Equiv. Rate 2026.05		0.113
Func. Equiv. Rate 2026.05		0.117
Func. Neg. 2026.05		0.152
Func. Equiv. Rate 2026.05		0.2
P(True) 2026.05		0.21
Seq. Prob. 2026.05		0.22
Min. Tok. Neg. 2026.05		0.251
Seq. Prob. 2026.05		0.253
Verb. Conf. 2026.05		0.26
Prob. Margin 2026.05		0.262
Min. Tok. Neg. 2026.05		0.271
Cos. Sim. 2026.05		0.273
Verb. Conf. 2026.05		0.281
Avg. Tok. Neg. 2026.05		0.292
P(True) 2026.05		0.3
Verb. Conf. 2026.05		0.303
Prob. Margin 2026.05		0.325
P(True) 2026.05		0.349
Seq. Prob. 2026.05		0.352
Cos. Sim. 2026.05		0.362
Avg. Tok. Neg. 2026.05		0.366
Min. Prob. 2026.05		0.39
Prob. Margin 2026.05		0.414
CodeBLEU 2026.05		0.428
Cos. Sim. 2026.05		0.43
Avg. Tok. Neg. 2026.05		0.444
CodeBLEU 2026.05		0.468
Min. Prob. 2026.05		0.501
Min. Prob. 2026.05		0.502
Min. Tok. Neg. 2026.05		0.535
Min. Tok. Neg. 2026.05		0.538
Min. Prob. 2026.05		0.726
Min. Prob. 2026.05		0.824