Share your thoughts, 1 month free Claude Pro on usSee more

Clinical Report Generation on S0002 v1 (test)

0.5695BLEU-1

CELM

Updated 3mo ago

Evaluation Results

Method	Links
CELM 2026.01		0.5695	0.6408	0.5597
CELM - SCC 2026.01		0.3767	0.4487	0.3232
Qwen3-4b-instruct-2507 2026.01		0.2483	0.2638	0.2017
Gemma-3-4b-it 2026.01		0.2089	0.2886	0.1738
Llama-3.1-8b-instruct 2026.01		0.196	0.2256	0.1509
Qwen3-4b-instruct-2507 2026.01		0.1912	0.269	0.1622
Qwen3-1.7b 2026.01		0.189	0.2049	0.1413
Llama-3.2-3b-instruct 2026.01		0.1779	0.2309	0.154
Llama-3.2-3b-instruct 2026.01		0.1651	0.2346	0.143
Llama-3.1-8b-instruct 2026.01		0.1629	0.2655	0.148
Gemma-3-4b-it 2026.01		0.1538	0.2775	0.1506
Gemma-3-1b-it 2026.01		0.1509	0.233	0.1319
Meta-llama-3-8b-instruct 2026.01		0.1441	0.2588	0.1416
Gemma-3-1b-it 2026.01		0.0957	0.1755	0.0954
Gemma-3n-e2b-it 2026.01		0.0925	0.2318	0.1181
Medgemma-4b-it 2026.01		0.0888	0.1829	0.1
Qwen3-1.7b 2026.01		0.0886	0.1189	0.0735
Medgemma-4b-it 2026.01		0.0865	0.228	0.1198
Gemma-3n-e2b-it 2026.01		0.075	0.219	0.1082
Gemma-3n-e4b-it 2026.01		0.0539	0.1998	0.0993
Llama-3.2-1b-instruct 2026.01		0.034	0.0954	0.0494
Llama-3.2-1b-instruct 2026.01		0.0312	0.1016	0.0517
Gemma-3n-e4b-it 2026.01		0.0169	0.0357	0.018