Share your thoughts, 1 month free Claude Pro on usSee more

EEG report generation on S0001 samples with clinical context

0.4823BLEU-1

CELM

Updated 3mo ago

Evaluation Results

Method
CELM 2026.01	0.4823	0.2831	0.5565	0.3458	0.4687	0.4702	0.8697	0.4734
CELM-SCC 2026.01	0.3383	0.1345	0.3843	0.1651	0.2699	0.2732	0.7949	0.2889
Qwen3-4b-instruct-2507 2026.01	0.2795	0.0593	0.3038	0.0763	0.1872	0.1916	0.7975	0.2418
Gemma-3-4b-it 2026.01	0.2372	0.0641	0.2857	0.0821	0.1893	0.1929	0.7941	0.2147
Meta-llama-3-8b-instruct 2026.01	0.2249	0.062	0.2673	0.0765	0.1758	0.1795	0.7392	0.1946
Llama-3.1-8b-instruct 2026.01	0.2128	0.0598	0.2511	0.0753	0.1689	0.1722	0.6994	0.1839
Qwen3-1.7b 2026.01	0.2047	0.0331	0.2051	0.0422	0.1286	0.1317	0.6063	0.1683
Llama-3.1-8b-instruct 2026.01	0.204	0.0508	0.2151	0.0617	0.1469	0.1499	0.693	0.1844
Gemma-3n-e2b-it 2026.01	0.1967	0.0641	0.241	0.0702	0.1657	0.1687	0.7848	0.1875
Llama-3.2-3b-instruct 2026.01	0.1951	0.0625	0.2224	0.0669	0.1511	0.155	0.7116	0.1843
Gemma-3-1b-it 2026.01	0.1897	0.0351	0.2112	0.0431	0.1356	0.1381	0.6461	0.1567
Qwen3-4b-instruct-2507 2026.01	0.1809	0.0288	0.2058	0.0402	0.1275	0.1303	0.7249	0.2067
Gemma-3n-e4b-it 2026.01	0.1793	0.0642	0.2416	0.0763	0.1659	0.1687	0.7847	0.1816
Llama-3.2-3b-instruct 2026.01	0.1692	0.0528	0.1844	0.0543	0.1271	0.1342	0.6441	0.1751
Medgemma-4b-it 2026.01	0.1618	0.0488	0.21	0.0611	0.1455	0.1482	0.6172	0.1529
Medgemma-4b-it 2026.01	0.1502	0.0485	0.2196	0.0654	0.1569	0.1593	0.6683	0.1529
Qwen3-1.7b 2026.01	0.1335	0.0213	0.1378	0.0285	0.0835	0.0855	0.3856	0.1102
Llama-3.2-1b-instruct 2026.01	0.0337	0.0059	0.0919	0.0053	0.0615	0.0629	0.558	0.0529
Llama-3.2-1b-instruct 2026.01	0.031	0.0053	0.082	0.0037	0.0547	0.0556	0.4978	0.0473
Gemma-3n-e4b-it 2026.01	0.0101	0.002	0.0397	0.0014	0.0259	0.0262	0.2498	0.0231
Gemma-3-4b-it 2026.01	0.0085	0.0025	0.0093	0.0032	0.0062	0.0065	0.0247	0.0078
Gemma-3n-e2b-it 2026.01	0.0083	0.0029	0.0116	0.0032	0.008	0.0083	0.0415	0.0088
Gemma-3-1b-it 2026.01	0.0068	0.0019	0.0086	0.0022	0.0063	0.0064	0.0311	0.0064