Share your thoughts, 1 month free Claude Pro on usSee more

Multi-turn Instruction Following on MT Bench

9.16MT-Bench Score (GPT-4)

Llama-3.1-Nemotron-70B-Instruct

Updated 1mo ago

Evaluation Results

Method
Llama-3.1-Nemotron-70B-Instruct 2025.03	9.16	2,614.4	-	-	-	-	-	-	-
Llama-3.3-70B-Instruct 2025.03	9.07	2,362.1	-	-	-	-	-	-	-
Llama-3.1-Nemotron-70B-Instruct 2025.03	8.98	2,199.8	-	-	-	-	-	-	-
Claude-3-5-Sonnet-20240620 2025.03	8.81	1,619.9	-	-	-	-	-	-	-
GPT-4o-2024-05-13 2025.03	8.74	1,752.2	-	-	-	-	-	-	-
Llama-3.1-405B-Instruct 2025.03	8.49	1,664.7	-	-	-	-	-	-	-
IPO 2026.04	8.3	-	-	-	-	-	-	-	-
RMiPO 2026.04	8.3	-	-	-	-	-	-	-	-
Llama-3.3-70B-Instruct 2025.03	8.29	1,827.6	-	-	-	-	-	-	-
Llama-3.1-70B-Instruct 2025.03	8.22	1,728.6	-	-	-	-	-	-	-
KTO 2026.04	8.2	-	-	-	-	-	-	-	-
SimPER 2026.04	8.2	-	-	-	-	-	-	-	-
Initial 2026.04	8.1	-	-	-	-	-	-	-	-
SLiC 2026.04	8.1	-	-	-	-	-	-	-	-
α-DPO 2026.04	8.1	-	-	-	-	-	-	-	-
DPO 2026.04	8	-	-	-	-	-	-	-	-
CPO 2026.04	8	-	-	-	-	-	-	-	-
SimPO 2026.04	8	-	-	-	-	-	-	-	-
α-DPO 2026.04	8	-	-	-	-	-	-	-	-
β-DPO 2026.04	8	-	-	-	-	-	-	-	-
ϵ-DPO 2026.04	8	-	-	-	-	-	-	-	-
SLiC 2026.04	7.8	-	-	-	-	-	-	-	-
IPO 2026.04	7.8	-	-	-	-	-	-	-	-
KTO 2026.04	7.8	-	-	-	-	-	-	-	-
ϵ-DPO 2026.04	7.8	-	-	-	-	-	-	-	-
SimPER 2026.04	7.8	-	-	-	-	-	-	-	-
RMiPO 2026.04	7.8	-	-	-	-	-	-	-	-
RMiPO 2026.04	7.8	-	-	-	-	-	-	-	-
DPO 2026.04	7.7	-	-	-	-	-	-	-	-
KTO 2026.04	7.7	-	-	-	-	-	-	-	-
SimPO 2026.04	7.7	-	-	-	-	-	-	-	-
α-DPO 2026.04	7.7	-	-	-	-	-	-	-	-
β-DPO 2026.04	7.7	-	-	-	-	-	-	-	-
β-DPO 2026.04	7.7	-	-	-	-	-	-	-	-
SimPER 2026.04	7.7	-	-	-	-	-	-	-	-
DPO 2026.04	7.6	-	-	-	-	-	-	-	-
SLiC 2026.04	7.6	-	-	-	-	-	-	-	-
SimPO 2026.04	7.6	-	-	-	-	-	-	-	-
ϵ-DPO 2026.04	7.6	-	-	-	-	-	-	-	-
Initial 2026.04	7.5	-	-	-	-	-	-	-	-
CPO 2026.04	7.5	-	-	-	-	-	-	-	-
α-DPO 2026.04	7.5	-	-	-	-	-	-	-	-
SimPER 2026.04	7.5	-	-	-	-	-	-	-	-
RMiPO 2026.04	7.5	-	-	-	-	-	-	-	-
Instruct 2026.05	7.45	-	-	-	-	-	-	-	-
GW-DPO 2026.06	7.425	-	-	-	-	-	8.3	6.55	1.75
baseline 2026.06	7.406	-	-	-	-	-	8.025	6.788	1.238
SLiC 2026.04	7.4	-	-	-	-	-	-	-	-
IPO 2026.04	7.4	-	-	-	-	-	-	-	-
CPO 2026.04	7.4	-	-	-	-	-	-	-	-
ϵ-DPO 2026.04	7.4	-	-	-	-	-	-	-	-
DPO 2026.06	7.363	-	-	-	-	-	8.1	6.625	1.475
Llama-3.1-Instruct 2026.06	7.356	-	-	-	-	-	7.875	6.838	1.037
DPO 2026.04	7.3	-	-	-	-	-	-	-	-
SimPO 2026.04	7.3	-	-	-	-	-	-	-	-
β-DPO 2026.04	7.3	-	-	-	-	-	-	-	-
DivPO 2026.05	7.281	-	-	-	-	-	-	-	-
3-level (lin.) 2026.06	7.269	-	-	-	-	-	7.975	6.563	1.413
SFT 2026.06	7.238	-	-	-	-	-	7.963	6.513	1.45
IPO 2026.04	7.2	-	-	-	-	-	-	-	-
AttentionPO 2026.05	7.19	-	-	-	-	-	-	-	-
DPO 2026.05	7.113	-	-	-	-	-	-	-	-
GW-DPO 2026.06	7.113	-	-	-	-	-	8	6.225	1.775
DivPO 2026.05	7.063	-	-	-	-	-	-	-	-
REDIPO 2026.05	7.044	-	-	-	-	-	-	-	-
KTO 2026.04	7	-	-	-	-	-	-	-	-
IPO 2026.05	6.99	-	-	-	-	-	-	-	-
REDIPO 2026.05	6.956	-	-	-	-	-	-	-	-
Instruct 2026.05	6.919	-	-	-	-	-	-	-	-
CPO 2026.04	6.8	-	-	-	-	-	-	-	-
KTO 2026.05	6.79	-	-	-	-	-	-	-	-
R-DPO 2026.05	6.79	-	-	-	-	-	-	-	-
Base 2026.05	6.78	-	-	-	-	-	-	-	-
SLiC-HF 2026.05	6.76	-	-	-	-	-	-	-	-
ORPO 2026.05	6.76	-	-	-	-	-	-	-	-
DPO 2026.05	6.73	-	-	-	-	-	-	-	-
B4G 2026.03	6.72	-	-	-	-	-	-	-	-
DPO 2026.05	6.7	-	-	-	-	-	-	-	-
CPO 2026.05	6.67	-	-	-	-	-	-	-	-
RRHF 2026.05	6.63	-	-	-	-	-	-	-	-
Initial 2026.04	6.6	-	-	-	-	-	-	-	-
REDIPO 2026.05	6.594	-	-	-	-	-	-	-	-
No-ISE 2026.06	6.544	-	-	-	-	-	7.163	5.925	1.238
DPO 2026.05	6.54	-	-	-	-	-	-	-	-
AttentionPO 2026.05	6.52	-	-	-	-	-	-	-	-
SimPO 2026.05	6.51	-	-	-	-	-	-	-	-
Instruct 2026.05	6.475	-	-	-	-	-	-	-	-
DPO 2026.05	6.463	-	-	-	-	-	-	-	-
B4G 2026.03	6.39	-	-	-	-	-	-	-	-
B4G 2026.03	6.34	-	-	-	-	-	-	-	-
R-DPO 2026.05	6.33	-	-	-	-	-	-	-	-
B4G 2026.03	6.31	-	-	-	-	-	-	-	-
Initial 2026.04	6.3	-	-	-	-	-	-	-	-
IPO 2026.05	6.23	-	-	-	-	-	-	-	-
B4G 2026.03	6.2	-	-	-	-	-	-	-	-
B4G 2026.03	6.2	-	-	-	-	-	-	-	-
RRHF 2026.05	6.18	-	-	-	-	-	-	-	-
B4G 2026.03	6.14	-	-	-	-	-	-	-	-
CPO 2026.05	6.13	-	-	-	-	-	-	-	-
SimPO 2026.05	6.13	-	-	-	-	-	-	-	-

Showing 100 of 163 rows