Share your thoughts, 1 month free Claude Pro on usSee more

Clinical Report Generation on S0002 (test)

0.4652BLEU-1

CELM

Updated 3mo ago

Evaluation Results

Method	Links
CELM 2026.01		0.4652	0.2666	0.5248	0.3271	0.4339	0.4339	0.799	0.439
CELM-SCC 2026.01		0.2991	0.0912	0.3793	0.1378	0.2441	0.2441	0.8192	0.2574
Qwen3-4b-instruct-2507 2026.01		0.226	0.0183	0.2315	0.0241	0.1162	0.1162	0.7418	0.179
Qwen3-1.7b 2026.01		0.1772	0.0164	0.1819	0.0187	0.0982	0.0991	0.6265	0.1304
Gemma-3-4b-it 2026.01		0.1699	0.0189	0.2557	0.0382	0.1341	0.1341	0.7875	0.1514
Llama-3.1-8b-instruct 2026.01		0.1556	0.016	0.209	0.0305	0.1142	0.1149	0.701	0.1298
Llama-3.2-3b-instruct 2026.01		0.1261	0.0125	0.1995	0.0304	0.1114	0.1141	0.7328	0.1214
Gemma-3-1b-it 2026.01		0.1019	0.0105	0.1935	0.0185	0.1046	0.1046	0.6441	0.1052
Gemma-3n-e2b-it 2026.01		0.0717	0.0089	0.2203	0.0331	0.1341	0.1346	0.7716	0.1116
Medgemma-4b-it 2026.01		0.0559	0.0069	0.1591	0.0208	0.0917	0.0917	0.6073	0.082
Llama-3.2-1b-instruct 2026.01		0.0265	0.0033	0.1041	0.0109	0.0632	0.0632	0.6324	0.053
Gemma-3n-e4b-it 2026.01		0.0058	0.0007	0.0127	0.0021	0.0072	0.0072	0.0471	0.0067