Share your thoughts, 1 month free Claude Pro on usSee more

Confidence alignment on LogiQA

0.039ECE

ConfTuner

Updated 21d ago

Evaluation Results

Method	Links
ConfTuner 2026.05		0.039	0.397	1.227	0.151	0.101	69.9
SFT 2026.05		0.045	0.399	4.415	0.326	0.17	49.6
Ours-ORCE 2026.05		0.057	0.467	5.169	0.306	0.149	49.6
SFT 2026.05		0.059	0.303	8.419	0.36	0.203	49.6
ConfTuner 2026.05		0.063	0.374	2.718	0.346	0.19	49.6
Ours-ORCE 2026.05		0.07	0.314	2.7	0.355	0.199	49.6
Ours-ORCE 2026.05		0.081	0.454	1.232	0.148	0.098	69.9
SFT 2026.05		0.094	0.41	7	0.161	0.11	69.9
CoT 2026.05		0.126	0.16	1.792	0.243	0.197	71
ConfTuner 2026.05		0.126	0.177	1.758	0.439	0.283	49.6
Consistency 2026.05		0.163	0.304	4.767	0.386	0.205	46.2
Consistency 2026.05		0.188	0.293	1.643	0.384	0.214	47.8
Top-k 2026.05		0.195	0.125	6.361	0.257	0.206	69.7
Consistency 2026.05		0.22	0.36	3.39	0.21	0.162	70.6
Vanilla 2026.05		0.25	0.154	7.519	0.251	0.2	69.9
Vanilla 2026.05		0.291	0.017	0.498	0.503	0.346	49.6
CoT 2026.05		0.407	0.206	1.767	0.538	0.312	40.8
CoT 2026.05		0.416	0.105	3.21	0.576	0.341	39.8
Top-k 2026.05		0.448	0.088	4.708	0.501	0.326	47
Top-k 2026.05		0.448	0.034	0.181	0.511	0.338	47.3
Vanilla 2026.05		0.498	-0.032	0.207	0.492	0.335	49.6