Share your thoughts, 1 month free Claude Pro on usSee more

Sycophancy Evaluation on AITA

0.54Sycophancy Score (S) PD-L

Mistral

Updated 13d ago

Evaluation Results

Method	Links
Mistral 2026.04		0.54	0.676	0.696	0.436	0.522	0.571	0.265	0.265	0.508	0.508	0.637	0.637	0.356	0.356	0.518	0.518	0.563	0.563
Llama 2026.04		0.399	0.637	0.527	0.351	0.425	0.279	0.338	0.338	0.584	0.584	0.532	0.532	0.197	0.197	0.309	0.309	0.199	0.199
Gemma 2026.04		0.362	0.419	0.545	0.201	0.335	0.264	0.169	0.169	0.365	0.365	0.492	0.492	0.188	0.188	0.279	0.279	0.375	0.375
C. Opus 2026.04		0.164	0.208	0.217	0.116	0.217	0.1	0.135	0.135	0.237	0.237	0.505	0.505	0.079	0.079	0.129	0.129	0.003	0.003
C. Haiku 2026.04		0.146	0.212	0.129	0.096	0.176	0.099	0.152	0.152	0.234	0.234	0.336	0.336	0.038	0.038	0.012	0.012	0.071	0.071
C. Sonnet 2026.04		0.138	0.199	0.163	0.114	0.13	0.093	0.105	0.105	0.206	0.206	0.399	0.399	0.022	0.022	0.039	0.039	-0.015	-0.015