Share your thoughts, 1 month free Claude Pro on usSee more

Text Summarization Evaluation on SummEval (test)

0.575Coherence (Spearman ρ)

UniEval (Summ)

Updated 1mo ago

Evaluation Results

Method	Links
UniEval (Summ) 2023.07		0.575	0.442	0.446	0.371	0.449	0.371	0.426	0.325
BARTScore (CNNDM) 2023.07		0.448	0.342	0.382	0.315	0.356	0.292	0.356	0.273
DecompEval 2023.07		0.341	0.256	0.455	0.378	0.285	0.233	0.355	0.276
BARTScore 2023.07		0.322	0.25	0.311	0.256	0.248	0.203	0.264	0.197
BERTScore 2023.07		0.284	0.211	0.11	0.09	0.193	0.158	0.312	0.243
CTRLEval 2023.07		0.217	0.164	0.301	0.247	0.132	0.107	0.196	0.152
ROUGE-2 2023.07		0.184	0.139	0.187	0.155	0.159	0.128	0.29	0.219
ROUGE-1 2023.07		0.167	0.126	0.16	0.13	0.115	0.094	0.326	0.252
MoverScore 2023.07		0.159	0.118	0.157	0.127	0.129	0.105	0.318	0.244
ROUGE-L 2023.07		0.128	0.099	0.115	0.092	0.105	0.084	0.311	0.237