Share your thoughts, 1 month free Claude Pro on usSee more

Multilingual Mathematical Reasoning on MGSM

94.9Accuracy

DeepSeek V3.2

Updated 1mo ago

Evaluation Results

Method	Links
DeepSeek V3.2 2025.12		94.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LongCat-Flash Exp-Chat 2025.12		94.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GLM 4.6 2025.12		91.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LongCat-Flash Chat 2025.12		87.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 Instruct 2025.04		87	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 Instruct 2025.04		84.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
ParamΔ 2025.04		84.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2-72B 2024.07		76	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude 3.5 Haiku (target) 2026.04		75.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Flan-PaLM 540B 2022.10		72	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 Instruct 2025.04		68.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama-3-70B 2024.07		67.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mixtral-8x22B 2024.07		62.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SASFT 2025.07		61.92	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen1.5-72B 2024.07		61.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen1.5-110B 2024.07		61.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 Instruct 2025.04		60.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+Penalty 2025.07		60.72	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
ParamΔ 2025.04		60.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2025.07		59.47	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+GRPO 2025.07		55.23	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM + Google translate API 2022.10		55	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+GRPO 2025.07		50.88	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2025.07		48.67	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SASFT 2025.07		47.12	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+Penalty 2025.07		46.37	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 540B 2022.10		45.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B (baseline) 2026.04		45.67	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GARFA (Exp A) 2026.04		43.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Exp B: L*+Lr 2026.04		43.45	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Exp C: Lr+L* 2026.04		39.78	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 540B 2022.10		37.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Flan-PaLM 540B 2022.10		37	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Exp D: Lr+Lr (control) 2026.04		34.04	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+Penalty 2025.07		33.31	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SASFT 2025.07		32.88	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2025.07		32.03	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+GRPO 2025.07		32.03	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Flan-PaLM 540B 2022.10		21.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+Penalty 2025.07		18.37	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 540B 2022.10		18.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 Base 2025.04		18.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2025.07		15.92	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SASFT 2025.07		13.49	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+Penalty 2025.07		12.77	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+GRPO 2025.07		12	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2025.07		11.89	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SASFT 2025.07		11.31	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT+GRPO 2025.07		9.44	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 Base 2025.04		9.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 Base 2025.04		4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 Base 2025.04		2.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MonoReason 2024.05		-	6.8	7.2	6.8	36.4	38.4	55.2	54.4	52	57.2	68.8	6.9	51.8	38.3	-	-	-
MultiReason-Lora 2024.05		-	29.6	35.2	28	52	54.8	59.6	58.4	62.4	59.6	64.8	30.9	58.8	50.4	-	-	-
MultiReason-SFT 2024.05		-	33.2	40	42	42	42	38.4	45.6	43.4	37.5	46.8	38.4	42	41.2	-	-	-
QAlign 2024.05		-	32.4	39.6	40.4	44	48.4	54.8	56.8	52.4	60.4	60.4	37.5	53.9	49.3	-	-	-
LangBridge 2024.05		-	42.8	50.4	43.2	40	45.2	56.4	50.8	56.4	52.4	58	45.5	52.3	50.2	-	-	-
Translate-En 2024.05		-	48.4	37.6	37.6	49.2	45.2	47.6	59.6	63.2	65.5	54.9	41.2	55.1	50.6	-	-	-
MindMerger-Hard 2024.05		-	46	36	48.4	52.4	54.4	60.4	57.6	60.8	56	60.4	43.5	59.5	54.7	-	-	-
MindMerger-Soft 2024.05		-	50.4	52.8	57.2	54.4	53.6	61.2	58.4	62	71.2	66.8	53.5	59	57.3	-	-	-
CoT 2025.02		-	5.6	4.8	2	15.2	25.2	32.4	30.4	26.4	30.4	43.6	-	-	21.6	-	-	-
PoT 2025.02		-	12	7.6	5.6	32.7	38.4	40.4	40.4	37.1	43.6	58	-	-	31.6	-	-	-
CoT 2025.02		-	9.2	16.4	3.2	18.8	27.2	33.2	32.8	26.8	39.6	43.2	-	-	25	-	-	-
PoT 2025.02		-	11.2	26.8	4.4	39.6	41.6	48.4	51.6	49.8	53.6	58.8	-	-	38.6	-	-	-
CoT 2025.02		-	6.8	7.2	7.4	18.8	35.2	39.2	37.6	38	41.2	47.4	-	-	27.9	-	-	-
PoT 2025.02		-	13.6	13.9	7.2	40	44	52.4	54.4	51.2	55.6	64	-	-	39.6	-	-	-
CoT 2025.02		-	39.6	39.6	28	33.6	40	51.2	52.8	45.2	54.8	62.8	-	-	44.8	-	-	-
PoT 2025.02		-	46	43.6	34.8	45.4	52.4	62.2	59.2	60.4	62.4	68.4	-	-	53.5	-	-	-
base 2026.01		-	49.6	-	57.6	-	-	-	-	-	-	-	-	-	51.5	62.4	36.4	-
Lang-Only 2026.01		-	49.2	-	58.8	-	-	-	-	-	-	-	-	-	48.8	53.2	34	-
Safety-Only 2026.01		-	52.4	-	54	-	-	-	-	-	-	-	-	-	48.7	56	32.4	-
Mixed SFT 2026.01		-	48	-	53.6	-	-	-	-	-	-	-	-	-	46.6	51.6	33.2	-
Task Arithmetic 2026.01		-	50	-	58.4	-	-	-	-	-	-	-	-	-	50	59.2	32.4	-
Ties Merging 2026.01		-	46.4	-	51.6	-	-	-	-	-	-	-	-	-	46.3	54	33.2	-
DARE 2026.01		-	52.4	-	56	-	-	-	-	-	-	-	-	-	49.2	53.6	34.8	-
Layer Swapping 2026.01		-	50.4	-	59.6	-	-	-	-	-	-	-	-	-	49.6	51.6	36.8	-
Layer-wise Swapping 2026.01		-	50.4	-	57.6	-	-	-	-	-	-	-	-	-	50.2	57.6	35.2	-
Module-wise Swapping 2026.01		-	47.6	-	59.2	-	-	-	-	-	-	-	-	-	50.7	57.6	38.4	-
base 2026.01		-	57.2	-	42.8	-	-	-	-	-	-	-	-	-	52.8	81.6	29.6	-
Lang-Only 2026.01		-	62	-	41.2	-	-	-	-	-	-	-	-	-	53.8	79.6	32.4	-
Safety-Only 2026.01		-	61.6	-	34.4	-	-	-	-	-	-	-	-	-	54.2	84.8	36	-
Mixed SFT 2026.01		-	59.2	-	40	-	-	-	-	-	-	-	-	-	54.9	84.4	36	-
Task Arithmetic 2026.01		-	55.8	-	38.4	-	-	-	-	-	-	-	-	-	53.1	84	34	-
Ties Merging 2026.01		-	61.6	-	42	-	-	-	-	-	-	-	-	-	55.2	83.2	34	-
DARE 2026.01		-	62.4	-	40.8	-	-	-	-	-	-	-	-	-	55	83.6	33.2	-
Layer Swapping 2026.01		-	64.8	-	38	-	-	-	-	-	-	-	-	-	55.9	86	34.8	-
Layer-wise Swapping 2026.01		-	60	-	39.6	-	-	-	-	-	-	-	-	-	55.4	85.6	36.4	-
Module-wise Swapping 2026.01		-	63.2	-	41.2	-	-	-	-	-	-	-	-	-	56.4	86	35.2	-
Qwen3-1.7B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	63.6
Qwen3-VL-2B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	67.6
Ministral-3-3B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	47
LFM2-8B-A1B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	56.5
Granite4-Tiny-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	55.3
Marco-Nano-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	76.5
Qwen3-4B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.4
Ministral-3-8B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	68.7
Gemma3-12B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84
Granite4-Small-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	75.7
LFM2-24B-A2B-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	67.8
Marco-Mini-Instruct 2026.04		-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	87.4