Share your thoughts, 1 month free Claude Pro on usSee more

Radiology Report Generation on CHEXPERT Plus

27.1R-L

MedGemma-4B-IT

Updated 1mo ago

Evaluation Results

Method
MedGemma-4B-IT 2026.02	27.1	-	-	-	-	-	-	-	-	79	47.2	29.3	-	-	-	-	-
Lingshu-7B 2026.02	26.5	-	-	-	-	-	-	-	-	79	45.4	26.8	-	-	-	-	-
Fleming-VL-8B 2026.02	26.1	-	-	-	-	-	-	-	-	82.2	47.1	40.1	-	-	-	-	-
GPT-4.1 2026.02	24.5	-	-	-	-	-	-	-	-	78.8	45.5	23.2	-	-	-	-	-
Gemini-2.5-Flash 2026.02	23.6	-	-	-	-	-	-	-	-	72.2	44.3	27.4	-	-	-	-	-
MedMO-8B 2026.02	23.6	-	-	-	-	-	-	-	-	87.5	47.3	42.2	-	-	-	-	-
Qwen2.5VL-7B 2026.02	22.2	-	-	-	-	-	-	-	-	62	41	17.2	-	-	-	-	-
Claude Sonnet 4 2026.02	22	-	-	-	-	-	-	-	-	59.5	43.5	18.9	-	-	-	-	-
Qwen3VL-8B 2026.02	21.9	-	-	-	-	-	-	-	-	67.4	44.4	37.9	-	-	-	-	-
HuatuoGPT-V-7B 2026.02	21.3	-	-	-	-	-	-	-	-	64.7	44.2	19.3	-	-	-	-	-
MedVLM-R1-2B 2026.02	20.9	-	-	-	-	-	-	-	-	43.5	38.9	15.5	-	-	-	-	-
InternVL3-8B 2026.02	20.9	-	-	-	-	-	-	-	-	65.4	44.3	25.2	-	-	-	-	-
InternVL2.5-8B 2026.02	20.6	-	-	-	-	-	-	-	-	58.5	43.1	19.7	-	-	-	-	-
Med-R1-2B 2026.02	18.6	-	-	-	-	-	-	-	-	37.1	38.5	17.8	-	-	-	-	-
LLaVA-Med-7B 2026.02	18.4	-	-	-	-	-	-	-	-	45.5	38.8	23.5	-	-	-	-	-
BioMediX2-8B 2026.02	18.1	-	-	-	-	-	-	-	-	47.9	40.8	21.6	-	-	-	-	-
MedMO-4B 2026.02	15.1	-	-	-	-	-	-	-	-	62.3	36.6	34.2	-	-	-	-	-
AM-MRG 2026.03	0.282	0.109	-	-	-	-	-	-	-	-	-	-	0.396	0.318	0.336	0.173	-
MambaX-VL 2026.03	0.276	0.112	-	-	-	-	-	-	-	-	-	-	0.377	0.319	0.335	0.157	-
Token-Mixer 2026.03	0.27	0.091	-	-	-	-	-	-	-	-	-	-	0.309	0.27	0.288	0.135	-
R2GenGPT 2026.03	0.266	0.101	-	-	-	-	-	-	-	-	-	-	0.315	0.244	0.26	0.145	-
XProNet 2026.03	0.265	0.1	-	-	-	-	-	-	-	-	-	-	0.314	0.247	0.259	0.146	-
R2GenCSR 2026.03	0.265	0.1	-	-	-	-	-	-	-	-	-	-	0.315	0.247	0.259	0.146	-
ORGan 2026.03	0.261	0.086	-	-	-	-	-	-	-	-	-	-	0.288	0.287	0.277	0.135	-
R2GenCMN 2026.03	0.256	0.087	-	-	-	-	-	-	-	-	-	-	0.329	0.241	0.231	0.127	-
WCL 2026.03	0.253	0.084	-	-	-	-	-	-	-	-	-	-	0.335	0.259	0.256	0.126	-
CAMANet 2026.03	0.249	0.083	-	-	-	-	-	-	-	-	-	-	0.328	0.224	0.216	0.118	-
R2Gen 2026.03	0.246	0.081	-	-	-	-	-	-	-	-	-	-	0.318	0.2	0.181	0.113	-
CvT2Dis. 2026.03	0.238	0.067	-	-	-	-	-	-	-	-	-	-	0.285	0.252	0.246	0.118	-
SWINV2-BERT 2025.05	0.234	0.056	0.201	-	0.277	0.366	0.495	0.56	0.532	-	-	-	-	-	-	-	-
SWINV2-BERT 2025.05	0.228	0.057	0.183	-	0.25	0.331	0.401	0.508	0.432	-	-	-	-	-	-	-	-
PromptMRG 2026.03	0.222	0.095	-	-	-	-	-	-	-	-	-	-	0.258	0.265	0.281	0.121	-
DEER 2026.03	0.222	0.058	-	-	-	-	-	-	-	-	-	-	0.371	0.387	0.355	0.112	-
RADAR 2025.05	0.203	0.076	0.143	-	0.216	0.362	0.417	0.541	0.524	-	-	-	-	-	-	-	-
BACKBONE 2025.05	0.203	0.073	0.143	-	0.206	0.282	0.437	0.477	0.466	-	-	-	-	-	-	-	-
SWINV2-BERT 2025.05	0.191	0.034	0.136	-	0.198	0.268	0.383	0.41	0.423	-	-	-	-	-	-	-	-
R2GenRL 2026.03	0.186	0.035	-	-	-	-	-	-	-	-	-	-	0.193	0.229	0.196	0.101	-
GPT-5.1 2026.03	-	-	-	-	-	-	-	-	-	-	48	27.5	-	-	-	-	49.2
Claude 4.5 Sonnet 2026.03	-	-	-	-	-	-	-	-	-	-	47.4	22.5	-	-	-	-	48.1
Gemini-2.5-Flash 2026.03	-	-	-	-	-	-	-	-	-	-	44.3	27.4	-	-	-	-	44
LLaVA-Med-7B 2026.03	-	-	-	-	-	-	-	-	-	-	38.8	23.5	-	-	-	-	44
HuatuoGPT-V-7B 2026.03	-	-	-	-	-	-	-	-	-	-	44.2	19.3	-	-	-	-	39.4
BiMediX2-8B 2026.03	-	-	-	-	-	-	-	-	-	-	40.8	21.6	-	-	-	-	43.3
MedGemma-4B-IT 2026.03	-	-	-	-	-	-	-	-	-	-	47.2	29.3	-	-	-	-	46.6
Lingshu-7B 2026.03	-	-	-	-	-	-	-	-	-	-	45.4	26.8	-	-	-	-	47.3
InternVL2.5-8B 2026.03	-	-	-	-	-	-	-	-	-	-	43.1	19.7	-	-	-	-	42.7
InternVL3-8B 2026.03	-	-	-	-	-	-	-	-	-	-	44.3	25.2	-	-	-	-	43.7
Qwen2.5-VL-7B 2026.03	-	-	-	-	-	-	-	-	-	-	41	17.2	-	-	-	-	43.1
Qwen3-VL-8B 2026.03	-	-	-	-	-	-	-	-	-	-	45.9	27.3	-	-	-	-	44.6
EviAgent 2026.03	-	-	-	-	-	-	-	-	-	-	49.8	30.4	-	-	-	-	48.8