Our new X account is live! Follow @wizwand_team for updates

Summarization Meta-evaluation on SummEval (test)

0.668Coherence (Pearson r)

HD-EVAL-NN

Updated 4d ago

Evaluation Results

Method	Links
HD-EVAL-NN 2024.02		0.668	0.657	0.604	0.451	0.58	0.435	0.619	0.599	0.617	0.535
HD-EVAL-NN 2024.02		0.655	0.644	0.573	0.457	0.562	0.437	0.601	0.577	0.598	0.529
GPT-4 EVAL 2024.02		0.547	0.542	0.507	0.458	0.479	0.46	0.609	0.592	0.538	0.513
UNIEVAL 2024.02		0.545	0.588	0.602	0.439	0.601	0.46	0.464	0.478	0.553	0.491
BARTSCORE 2024.02		0.423	0.403	0.35	0.317	0.303	0.25	0.415	0.386	0.373	0.339
BERTSCORE 2024.02		0.302	0.285	0.093	0.071	0.174	0.119	0.389	0.372	0.239	0.212
CTC 2024.02		0.22	0.181	0.531	0.407	0.494	0.305	0.259	0.127	0.376	0.255
PRISM 2024.02		0.188	0.184	0.067	0.039	0.074	0.053	0.29	0.29	0.154	0.141
ROUGE-1 2024.02		0.178	0.168	0.037	0.028	0.045	0.009	0.288	0.291	0.137	0.124
ROUGE-2 2024.02		0.143	0.152	0.025	0.011	0.029	-0.006	0.209	0.24	0.101	0.099
ROUGE-L 2024.02		0.141	0.134	0.026	0.015	0.052	0.022	0.262	0.264	0.12	0.109