Our new X account is live! Follow @wizwand_team for updates

Human Correlation Evaluation on Topical-Chat

0.699Naturalness Pearson (r)

DEBATE

Updated 4d ago

Evaluation Results

Method
DEBATE 2024.05	0.699	0.683	0.735	0.727	0.761	0.705	0.745	0.8	0.735	0.729
HD-EVAL-NN 2024.02	0.648	0.674	0.584	0.607	0.682	0.701	0.549	0.568	0.616	0.638
HD-EVAL-NN 2024.02	0.647	0.672	0.588	0.613	0.682	0.702	0.471	0.498	0.597	0.621
G-Eval 2024.05	0.632	0.609	0.614	0.619	0.547	0.579	0.67	0.684	0.616	0.623
ChatEval 2024.05	0.62	0.604	0.657	0.641	0.687	0.676	0.737	0.692	0.675	0.653
MultiAgent 2024.05	0.59	0.57	0.665	0.667	0.709	0.729	0.659	0.63	0.656	0.649
GPT-4 EVAL 2024.02	0.584	0.607	0.562	0.59	0.594	0.605	0.53	0.556	0.567	0.59
DEBATE 2024.05	0.502	0.469	0.485	0.43	0.556	0.48	0.452	0.428	0.499	0.452
UniEval 2024.05	0.455	0.33	0.602	0.455	0.573	0.43	0.577	0.453	0.552	0.417
DEBATE 2024.05	0.402	0.412	0.191	0.113	0.541	0.516	0.663	0.631	0.45	0.418
GPTScore 2024.05	0.353	0.289	0.279	0.223	0.472	0.451	0.362	0.417	0.367	0.345
G-Eval 2024.05	0.348	0.362	0.51	0.5	0.355	0.361	0.385	0.353	0.399	0.394
UNIEVAL 2024.02	0.342	0.45	0.571	0.616	0.573	0.615	0.523	0.59	0.502	0.568
BARTScore 2024.05	0.287	0.266	0.251	0.225	0.411	0.406	0.226	0.205	0.293	0.276
G-Eval 2024.05	0.266	0.235	-0.015	0.006	0.508	0.438	0.651	0.616	0.353	0.324
MultiAgent 2024.05	0.237	0.231	0.295	0.302	0.54	0.523	0.398	0.397	0.368	0.363
CTC 2024.02	0.232	0.195	0.343	0.296	0.54	0.542	0.422	0.398	0.384	0.358
BERTSCORE 2024.02	0.226	0.209	0.214	0.233	0.317	0.335	0.291	0.317	0.262	0.273
BERTScore 2024.05	0.226	0.208	0.214	0.233	0.317	0.335	0.291	0.317	0.262	0.273
ROUGE-L 2024.05	0.176	0.146	0.193	0.203	0.295	0.3	0.31	0.327	0.243	0.244
ROUGE-2 2024.02	0.175	0.168	0.186	0.247	0.281	0.337	0.26	0.311	0.225	0.266
ROUGE-L 2024.02	0.172	0.145	0.198	0.205	0.299	0.306	0.286	0.293	0.239	0.237
MoverScore 2024.05	0.169	0.17	0.247	0.259	0.275	0.269	0.198	0.147	0.222	0.238
ROUGE-1 2024.02	0.158	0.143	0.205	0.206	0.305	0.319	0.264	0.264	0.233	0.233
PRISM 2024.02	0.04	-0.01	0.098	0.081	0.241	0.22	0.178	0.159	0.139	0.113
BARTSCORE 2024.02	-0.072	-0.053	-0.107	-0.079	-0.105	-0.084	-0.217	-0.197	-0.125	-0.103