Share your thoughts, 1 month free Claude Pro on usSee more

Machine Translation on WMT 24++ (Language Pair Metrics)

10Standard Deviation of Score

Tiny Aya Fire

Updated 1mo ago

Evaluation Results

Method	Links
Tiny Aya Fire 2026.03		10	31	36	56	39	55	48	58	54	54	62	47	48	50	53	61	57	46	49	36	52	44	59	29	59	25	42	26	42	49	33	39	56	59	48	44	60	56	59	46	46	50	45	59	42	47	40	41	29	51	50	48	54	29	22	30	46	-
Tiny Aya Global 2026.03		10	31	35	56	37	56	47	59	52	54	62	48	47	49	56	61	56	45	48	36	51	42	58	28	58	25	41	29	44	48	33	39	55	58	46	42	60	56	58	46	45	51	32	57	46	48	40	40	31	50	49	46	53	27	23	38	46	-
Tiny Aya Global 2026.03		10.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	46
Tiny Aya Earth 2026.03		11	30	34	56	29	57	48	60	51	54	62	50	47	52	51	61	56	46	48	35	52	43	57	26	57	23	40	22	44	49	33	41	56	59	46	45	60	56	58	46	46	51	34	59	50	52	37	40	26	50	50	48	53	26	20	40	46	-
Tiny Aya Water 2026.03		11	30	34	56	25	56	48	58	52	54	62	49	47	51	55	61	57	46	49	35	51	44	59	28	57	26	41	28	44	49	32	39	56	59	42	43	60	56	58	46	45	51	36	57	47	47	34	39	34	51	49	47	53	28	23	24	46	-
TranslateGemma 4B 2026.03		12	35	39	56	42	57	48	60	55	53	62	47	47	54	57	62	59	45	46	38	50	45	60	35	59	30	47	30	43	45	40	42	56	61	2	46	60	57	55	49	45	47	42	59	46	47	48	46	46	51	50	41	50	33	18	4	46	-
Gemma3-4B 2026.03		13	30	34	54	35	54	44	58	53	52	62	37	43	51	54	62	57	38	41	36	47	33	58	26	59	26	20	28	36	40	10	38	54	61	27	43	59	56	56	47	42	43	23	57	33	36	40	40	38	47	48	33	50	27	20	9	42	-
Gemma3-4B 2026.03		13.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	41.9
Qwen3.5-4B 2026.03		14	29	31	49	31	57	43	54	53	49	62	35	44	46	46	62	57	28	39	32	49	43	57	28	58	27	32	29	38	39	27	28	54	55	27	43	59	56	54	45	41	45	5	55	12	12	30	29	39	47	46	34	51	31	24	6	40	-
Qwen3.5-4B 2026.03		14	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	40.1
Ministral-3-3B 2026.03		15	21	24	41	24	48	40	52	49	39	56	20	37	41	22	56	52	16	23	28	39	31	51	15	53	19	18	20	22	16	12	15	48	53	20	40	54	50	47	42	28	28	31	50	2	2	16	16	29	36	42	19	43	21	17	1	32	-
Ministral-3-3B 2026.03		15.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	31.5
Qwen3-4B 2026.03		16	27	30	44	27	49	37	49	51	40	59	11	35	32	38	59	55	20	30	30	37	35	54	7	54	27	13	26	23	24	16	16	50	51	9	37	58	54	49	42	30	29	22	50	2	2	16	15	36	40	39	21	48	30	24	1	33	-
Qwen3-4B 2026.03		16	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	32.9
SmolLM3-3B 2026.03		17.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	18.4
SmolLM3-3B 2026.03		18	24	28	14	2	29	13	24	49	35	60	2	11	5	7	57	55	2	7	24	9	3	31	3	54	21	2	15	2	2	2	2	28	28	2	17	57	51	18	42	7	5	2	29	1	1	3	2	21	9	21	2	33	24	16	1	18	-