Our new X account is live! Follow @wizwand_team for updates

Calibration on BEAR (test)

0.083Brier Score

gemma-7b

Updated 4d ago

Evaluation Results

Method
gemma-7b 2026.01	0.083	0.042
gemma-2b 2026.01	0.098	0.032
gpt2-medium 2026.01	0.11	0.071
opt-6.7b 2026.01	0.11	0.024
gemma-7b 2026.01	0.114	0.081
gpt2-large 2026.01	0.116	0.07
gpt2 2026.01	0.117	0.1
gpt2-xl 2026.01	0.121	0.068
gemma-7b 2026.01	0.124	-
opt-1.3b 2026.01	0.126	0.056
opt-350m 2026.01	0.127	0.098
opt-125m 2026.01	0.13	0.116
gemma-2b 2026.01	0.133	0.068
gemma-7b 2026.01	0.133	0.077
gemma-7b 2026.01	0.134	0.046
gpt2-large 2026.01	0.139	0.101
gpt2 2026.01	0.14	0.158
gpt2-medium 2026.01	0.14	0.116
gemma-7b 2026.01	0.144	-
opt-6.7b 2026.01	0.144	0.029
opt-125m 2026.01	0.147	0.164
opt-350m 2026.01	0.15	0.137
gpt2-xl 2026.01	0.152	0.086
gemma-2b 2026.01	0.155	0.053
gemma-2b 2026.01	0.157	-
roberta-large 2026.01	0.158	0.144
gemma-2b 2026.01	0.162	0.113
roberta-base 2026.01	0.162	0.165
gpt2-large 2026.01	0.163	0.104
opt-1.3b 2026.01	0.163	0.068
opt-6.7b 2026.01	0.168	0.069
opt-350m 2026.01	0.177	0.139
gpt2-medium 2026.01	0.179	0.121
gpt2 2026.01	0.181	0.157
opt-125m 2026.01	0.186	0.153
opt-1.3b 2026.01	0.187	0.1
opt-6.7b 2026.01	0.187	0.154
roberta-large 2026.01	0.188	0.228
gemma-2b 2026.01	0.19	-
opt-6.7b 2026.01	0.191	-
gpt2-xl 2026.01	0.193	0.128
bert-large-cased 2026.01	0.196	0.198
roberta-base 2026.01	0.196	0.268
bert-base-cased 2026.01	0.205	0.218
gpt2-large 2026.01	0.206	0.236
opt-1.3b 2026.01	0.214	0.207
gpt2-medium 2026.01	0.218	0.249
opt-350m 2026.01	0.224	0.265
xlm-roberta-large 2026.01	0.224	0.249
xlm-roberta-base 2026.01	0.225	0.274
gpt2-xl 2026.01	0.228	0.24
bert-large-cased 2026.01	0.23	0.278
gpt2-medium 2026.01	0.23	-
opt-1.3b 2026.01	0.232	-
opt-6.7b 2026.01	0.232	-
gpt2-xl 2026.01	0.235	-
gpt2 2026.01	0.237	0.295
gpt2-large 2026.01	0.238	-
opt-125m 2026.01	0.241	0.299
bert-base-cased 2026.01	0.244	0.298
roberta-large 2026.01	0.254	-
gpt2 2026.01	0.259	-
opt-350m 2026.01	0.263	-
roberta-base 2026.01	0.265	-
xlm-roberta-large 2026.01	0.272	0.36
opt-125m 2026.01	0.273	-
bert-base-cased 2026.01	0.276	0.295
roberta-large 2026.01	0.278	0.291
xlm-roberta-base 2026.01	0.283	0.395
gpt2-xl 2026.01	0.284	-
bert-large-cased 2026.01	0.285	0.302
gpt2-medium 2026.01	0.286	-
gpt2-large 2026.01	0.29	-
opt-1.3b 2026.01	0.29	-
roberta-base 2026.01	0.291	0.321
roberta-large 2026.01	0.304	-
bert-large-cased 2026.01	0.31	-
gpt2 2026.01	0.315	-
opt-125m 2026.01	0.32	-
opt-350m 2026.01	0.32	-
roberta-base 2026.01	0.322	-
bert-base-cased 2026.01	0.338	-
xlm-roberta-large 2026.01	0.354	-
xlm-roberta-large 2026.01	0.359	0.412
xlm-roberta-base 2026.01	0.362	-
bert-base-cased 2026.01	0.367	0.454
roberta-large 2026.01	0.367	0.441
xlm-roberta-base 2026.01	0.368	0.427
bert-large-cased 2026.01	0.369	-
bert-large-cased 2026.01	0.373	0.452
roberta-base 2026.01	0.387	0.482
bert-base-cased 2026.01	0.408	-
xlm-roberta-large 2026.01	0.43	-
xlm-roberta-base 2026.01	0.448	-
xlm-roberta-large 2026.01	0.461	0.559
xlm-roberta-base 2026.01	0.481	0.585