Share your thoughts, 1 month free Claude Pro on usSee more

Metrics correlation with human judgment on WebNLG challenge 2017

0.9Spearman Correlation (rho)

MoverScore

Updated 1mo ago

Evaluation Results

Method	Links
MoverScore 2022.03		0.9	0.78	0.73
METEOR 2022.03		0.87	0.9	0.72
RoMe 2022.03		0.84	0.89	0.83
BERTScore 2022.03		0.81	0.76	0.7
BLEU 2022.03		0.73	0.8	0.62
RoMe 2022.03		0.72	0.7	0.51
MoverScore 2022.03		0.68	0.73	0.49
RoMe 2022.03		0.64	0.68	0.5
MoverScore 2022.03		0.62	0.5	0.35
BERTScore 2022.03		0.61	0.72	0.5
MoverScore 2022.03		0.59	0.61	0.43
RoMe 2022.03		0.58	0.56	0.39
METEOR 2022.03		0.57	0.58	0.41
MoverScore 2022.03		0.57	0.56	0.39
BERTScore 2022.03		0.53	0.48	0.33
RoMe 2022.03		0.53	0.53	0.37
METEOR 2022.03		0.52	0.43	0.3
RoMe 2022.03		0.5	0.51	0.36
METEOR 2022.03		0.49	0.49	0.33
BERTScore 2022.03		0.49	0.5	0.35
MoverScore 2022.03		0.49	0.5	0.36
BERTScore 2022.03		0.48	0.53	0.38
METEOR 2022.03		0.47	0.47	0.31
RoMe 2022.03		0.44	0.5	0.35
RoMe 2022.03		0.42	0.42	0.3
MoverScore 2022.03		0.4	0.39	0.28
MoverScore 2022.03		0.4	0.38	0.27
BLEU 2022.03		0.38	0.39	0.27
BLEU 2022.03		0.38	0.41	0.3
BERTScore 2022.03		0.38	0.39	0.3
RoMe 2022.03		0.38	0.42	0.27
BLEU 2022.03		0.37	0.38	0.28
BLEU 2022.03		0.35	0.42	0.26
METEOR 2022.03		0.35	0.35	0.24
BERTScore 2022.03		0.33	0.33	0.26
BERTScore 2022.03		0.33	0.3	0.25
BLEU 2022.03		0.32	0.31	0.21
MoverScore 2022.03		0.27	0.27	0.18
METEOR 2022.03		0.26	0.26	0.18
BERTScore 2022.03		0.26	0.25	0.19
BLEU 2022.03		0.25	0.2	0.13
BLEU 2022.03		0.25	0.2	0.13
METEOR 2022.03		0.21	0.19	0.13
BLEU 2022.03		0.14	0.13	0.08
METEOR 2022.03		0.13	0.11	0.08