Our new X account is live! Follow @wizwand_team for updates

Summarization Evaluation on SummEval 1.0 (test)

0.5944Coherence (Spearman rho)

UMSE(Fusion)

Updated 4d ago

Evaluation Results

Method	Links
UMSE(Fusion) 2023.05		0.5944	0.4515	0.3381	0.2813	0.3316	0.2731	0.4358	0.3282
UMSE 2023.05		0.584	0.4443	0.2494	0.2055	0.2601	0.2132	0.4217	0.3189
UMSE(Fusion)-PT 2023.05		0.5757	0.4397	0.3338	0.2751	0.3206	0.2638	0.4375	0.3291
UMSE-PT 2023.05		0.5607	0.4246	0.2664	0.2193	0.2552	0.2079	0.4228	0.3155
UMSE 2023.05		0.5298	0.4052	0.3579	0.2961	0.3163	0.2617	0.4039	0.306
UMSE-PT 2023.05		0.5007	0.381	0.3505	0.2905	0.3079	0.2533	0.4276	0.322
UniEval 2023.05		0.495	0.374	0.435	0.365	0.419	0.346	0.424	0.327
UMSE 2023.05		0.4704	0.3532	0.3413	0.2817	0.3006	0.2451	0.3894	0.2929
BARTScore 2023.05		0.448	0.342	0.382	0.315	0.356	0.292	0.356	0.273
CTC 2023.05		0.402	0.31	0.366	0.301	0.299	0.245	0.428	0.336
BERTScore 2023.05		0.284	0.211	0.11	0.09	0.193	0.158	0.312	0.243
SUPERT 2023.05		0.2165	0.1716	0.3438	0.2863	0.2509	0.2024	0.2746	0.2132
UniTE 2023.05		0.1885	0.1453	0.1244	0.1017	0.1076	0.0886	0.2874	0.2232
ROUGE-2 2023.05		0.184	0.139	0.187	0.155	0.159	0.128	0.29	0.219
UniTE 2023.05		0.1792	0.1362	0.0557	0.0474	0.0761	0.0614	0.2255	0.1716
UniTE 2023.05		0.1703	0.1327	0.116	0.0956	0.0871	0.0703	0.2738	0.2084
ROUGE-1 2023.05		0.167	0.126	0.16	0.13	0.159	0.094	0.326	0.252
MOVERScore 2023.05		0.157	0.118	0.157	0.127	0.129	0.105	0.318	0.244
ROUGE-L 2023.05		0.128	0.099	0.115	0.092	0.105	0.084	0.311	0.237
SummaQA 2023.05		0.1239	0.0963	0.254	0.2102	0.1782	0.1457	0.212	0.1628
BLANC 2023.05		0.1219	0.0951	0.2768	0.2307	0.1727	0.1436	0.2574	0.1983