Share your thoughts, 1 month free Claude Pro on usSee more

Probability Calibration on CIFAR-10H K=10 (test)

0.7ECE

Oracle TS

Updated 2mo ago

Evaluation Results

Method	Links
Oracle TS 2026.03		0.7	0.63	0.42	0.101	0.277
IR-Soft 2026.03		0.72	0.83	0.45	0.115	0.34
Dirichlet-Soft 2026.03		0.72	0.41	0.25	0.1	0.255
MCTS S=1 2026.03		0.81	0.65	0.42	0.101	0.277
SLTS 2026.03		0.85	0.56	0.39	0.102	0.278
SoftPlatt 2026.03		0.88	0.47	0.24	0.101	0.272
IR-Soft 2026.03		0.91	0.61	0.43	0.105	0.321
VS 2026.03		0.92	0.5	0.32	0.101	0.274
Dirichlet-Soft 2026.03		1.25	1.06	0.35	0.109	0.271
VS 2026.03		1.35	1.26	0.39	0.109	0.289
MCTS S=1 2026.03		1.45	1.44	0.45	0.111	0.296
Oracle TS 2026.03		1.5	1.52	0.45	0.111	0.296
SLTS 2026.03		1.51	1.39	0.45	0.11	0.293
SoftPlatt 2026.03		1.52	1.31	0.35	0.11	0.288
LS-TS 2026.03		1.57	1.31	0.46	0.109	0.293
LS-TS 2026.03		2.37	2.21	0.53	0.103	0.285
TS 2026.03		4.29	4.25	0.91	0.112	0.363
Platt 2026.03		4.29	4.23	0.91	0.112	0.372
ATS 2026.03		4.4	4.37	0.94	0.113	0.35
Dirichlet-Hard 2026.03		4.46	4.44	0.95	0.114	0.395
TS 2026.03		4.48	4.4	0.93	0.106	0.346
ATS 2026.03		4.54	4.47	0.94	0.106	0.345
Platt 2026.03		4.54	4.38	0.93	0.105	0.363
Dirichlet-Hard 2026.03		4.7	4.62	0.97	0.107	0.394
Uncalibrated 2026.03		4.97	5.71	1.09	0.12	0.692
Uncalibrated 2026.03		4.99	5.36	1.06	0.111	0.678