Share your thoughts, 1 month free Claude Pro on usSee more

Machine Translation on DomainMTBench

97.08XCOMET (Finance)

Hy-MT2-30B-A3B

Updated 12d ago

Evaluation Results

Method
Hy-MT2-30B-A3B 2026.05	97.08	94.14	89.15	92.04	96.22	94.63	95.16	94.08	96.63	93.79	97.54	94.23	95.04	93.73
Hy-MT2-7B 2026.05	96.79	93.14	89.02	91.14	96.23	93.76	95.15	92.8	96.47	93.02	97.5	93.43	94.92	92.79
HY-MT1.5-7B 2026.05	96.66	92.82	88.37	89.52	96.28	93.4	95.24	91.52	96.51	92.55	97.57	93.09	94.82	92.04
TranslateGemma-27B-IT 2026.05	96.33	92.38	87.56	88.88	95.81	93.84	94.66	92.29	96	92.01	97.26	93.2	94.3	91.94
Gemini 3.1 Pro 2026.05	96.3	94.73	88.48	93.25	95.64	95.44	94.94	95.23	96.16	94.58	97.24	95.11	94.5	94.64
GPT-5.5 2026.05	96.07	94.69	88.13	93.08	95.4	95.35	94.58	94.89	95.93	94.47	97.06	95.08	94.23	94.51
Gemma4-31B 2026.05	96.07	94.32	87.66	92.13	95.37	94.89	94.15	94.27	95.89	93.8	97.12	94.55	94.07	93.9
Qwen3.6-35B-A3B 2026.05	96.03	94.31	87.58	91.66	95.35	94.87	94.53	94.23	95.76	93.76	96.91	94.33	94.06	93.77
GPT-5.5 2026.05	95.93	94.56	88.26	92.48	95.37	95.24	94.49	94.78	95.83	94.31	97.01	94.81	94.2	94.28
Kimi K2.6 2026.05	95.91	94.31	87.81	92.51	95.34	94.96	94.42	94.37	95.68	93.96	96.86	94.36	94.04	94.01
Qwen3.5-397B-A17B 2026.05	95.88	94.32	87.59	91.63	95.24	94.94	94.38	94.35	95.64	93.8	97.13	94.6	93.98	93.82
DeepSeek-V4-Pro 2026.05	95.81	94.2	87.55	91.76	95.42	95.08	94.33	94.26	95.61	93.78	96.72	94.16	93.96	93.8
Gemma4-26B-A4B 2026.05	95.78	94.3	87.44	91.81	95.19	94.83	94.11	94.13	95.5	93.68	96.92	94.29	93.84	93.76
GLM5.1 2026.05	95.77	94.55	87.72	92.54	95.08	95.21	94.4	94.87	95.6	94.29	96.82	94.86	93.92	94.3
DeepSeek-V4-Pro 2026.05	95.76	94.47	87.65	92.22	95.33	95.21	94.4	94.71	95.55	94.02	96.96	94.77	93.96	94.13
Gemma4-31B 2026.05	95.56	93.81	87.1	91.28	95.12	94.44	94.02	93.97	95.28	93.14	96.77	94.17	93.65	93.34
HY-MT1.5-1.8B 2026.05	95.55	90.01	86.03	84.9	95.26	90.27	94.37	88.59	95.23	89.59	96.61	90.89	93.52	88.82
Qwen3.6-35B-A3B 2026.05	95.52	93.53	87	90.13	94.88	94.26	94.13	93.55	95.29	93.27	96.57	93.57	93.59	92.96
Gemma4-26B-A4B 2026.05	95.39	93.65	86.63	90.35	95.02	94.25	93.69	93.44	94.97	93.06	96.69	94.03	93.39	93.01
Hy-MT2-1.8B 2026.05	95.36	91.69	86.63	88.89	94.97	92.1	93.97	91.25	95.01	91.18	96.42	92.46	93.41	91.08
GLM5.1 2026.05	95.31	94.06	86.84	91.76	94.95	94.85	93.96	94.18	95.22	93.71	96.54	94.38	93.49	93.72
Kimi K2.6 2026.05	95.3	93.74	87.3	91.07	94.95	94.42	93.98	93.68	95.18	93.43	96.66	93.75	93.58	93.27
Tower-Plus-72B 2026.05	95.23	93.6	86.54	90.8	95.04	94.35	93.91	93.62	95.41	93.29	96.53	93.83	93.46	93.14
Qwen3.5-397B-A17B 2026.05	94.21	92.76	86.11	91.01	93.12	92.86	92.34	92.41	94.11	92.48	94.07	91.85	92.1	92.2
Gemma4-E4B 2026.05	93.66	91.6	83.79	87.03	93.61	92.19	92.27	91.02	93.1	90.43	95.19	91.86	91.57	90.53
Gemma4-E4B 2026.05	93.45	91.42	83.46	86.46	93.51	92.1	91.95	90.4	93.13	90.48	95.13	91.52	91.41	90.27
Doubao-Translator 2026.05	93.39	91.8	83.18	87.56	91.63	90.53	91.78	89.64	93.77	91.97	94.69	91.38	91.02	90.36
Gemma4-E2B 2026.05	92.77	91.25	82.69	86.77	93.12	91.67	91.94	90.56	92.41	89.77	94.94	91.25	90.9	90.05
Microsoft-Translator 2026.05	92.51	90.34	81.76	85.17	92.47	90.64	91.19	87.96	92.77	90.25	94.96	90.88	90.49	89.01
Gemma4-E2B 2026.05	92.07	89.59	81.52	84.51	92.53	89.73	91.03	88.26	91.61	87.82	94.3	90.45	90.09	88.11