Share your thoughts, 1 month free Claude Pro on usSee more

Commonsense Reasoning on WinoGrande

7,364Accuracy

GPTQ

Updated 19h ago

Evaluation Results

Method
GPTQ 2025.09	7,364	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Human Performance 2024.01	94.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
VERA-T5 (Multitask Supervised) 2024.01	92.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 2 2023.05	90.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BF16 2026.02	89.34	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HiF4 2026.02	89.11	-	-	-	-0.23	-	-	-	-	-	-	-	-	-	-
BaLoRA 2026.04	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
NVFP4+PTS 2026.02	88	-	-	-	-1.34	-	-	-	-	-	-	-	-	-	-
NVFP4 2026.02	87.92	-	-	-	-1.42	-	-	-	-	-	-	-	-	-	-
Dense Model 2026.01	87.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HiRA 2026.04	87.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2023.05	87.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AGRPO 2026.03	87.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LFPO (All Loss) 2026.03	86.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Dense Model 2026.01	86.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MoRA 2026.04	86.74	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours (1-vec) 2026.02	86.6	-	-	-	-	-	-	0.2	-	-	-	-	-	-	-
GradPruner 2026.01	86.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GradPruner 2026.01	86	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek V3.1 2026.02	85.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-V3.1 Base 2026.01	85.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours r=1 2026.02	85.9	-	-	-	-	-	-	-0.5	-	-	-	-	-	-	-
DeepSeek V3.2 2026.02	85.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-V3.2 Exp Base 2026.01	85.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
coupled-GRPO 2026.03	85.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DoRA 2026.04	85.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2 2026.02	85.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2 Base 2026.01	85.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 2023.05	85.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SE-GPT 2024.07	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
UniGRPO 2026.03	84.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Dense Model 2026.01	84.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SPG 2026.03	84.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoRA 2026.04	84.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeBERTa-v3-L (Supervised) 2024.01	84.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
HiRA 2026.04	83.98	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MiMo-V2 Flash 2026.02	83.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MiMo-V2-Flash Base 2026.01	83.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 2023.05	83.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LFPO (Neg. Only) 2026.03	83.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BaLoRA 2026.04	83.66	-	-	-	-	-	-	-	-	-	-	-	-	-	-
FT(Llama3.2) 2026.01	83.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SAT 2026.01	83.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SAT 2026.01	83.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Zero-shot-CoT 2024.07	83.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLaMA 2 70B 2024.01	83.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GradPruner 2026.01	83.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
diffu-GRPO 2026.03	83.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LFPO (Pos. Only) 2026.03	83.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 2-L 2023.05	83	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MINITRON 2026.01	83	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-EXP 2024.07	82.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Laco 2026.01	82.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Self-ICL-CoT 2024.07	82.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoRA 2026.04	82.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DoRA 2026.04	82.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mashup Learning 2026.03	82.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Dense Model 2026.01	82.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Laco 2026.01	81.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Nemo Inst 2407 2026.01	81.7	-	-	-	-	7.2	-	-	-	-	-	-	-	-	-
Llama 3.1-70B 2026.02	81.61	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-3.5 2024.01	81.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLMPruner 2026.01	81.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SAT 2026.01	81.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
APT 2026.01	81.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MINITRON 2026.01	81.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
From scratch 2026.03	81.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mixtral 8x7B 2024.01	81.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Zero-shot 2024.07	81.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GradPruner 2026.01	81.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Laco 2026.01	81.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 0.6B 2026.01	81.2	-	-	-	-	28.3	-	-	-	-	-	-	-	-	-
Qwen3 0.6B 2026.01	81.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM-540B 2023.09	81.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLMPruner 2026.01	81	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama-3-70B 2025.03	80.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
FT(Llama3.2) 2026.01	80.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MINITRON 2026.01	80.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LO-BCQ (g128) 2025.02	80.43	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLaMA 2 70B 2024.01	80.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BF16 2026.02	80.27	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours r=1 2026.02	80.2	-	-	-	-	-	-	-2.8	-	-	-	-	-	-	-
MoRA 2026.04	80.19	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLMPruner 2026.01	80.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
BF16 2026.04	79.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LO-BCQ (g128) 2025.02	79.79	-	-	-	-	-	-	-	-	-	-	-	-	-	-
F-L-S 2024.10	79.72	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Small 24B Inst 2501 2026.01	79.7	-	-	-	-	3.5	-	-	-	-	-	-	-	-	-
HiF4 2026.02	79.56	-	-	-	-0.71	-	-	-	-	-	-	-	-	-	-
Self-ICL 2024.07	79.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-
NVFP4+PTS 2026.02	79.4	-	-	-	-0.87	-	-	-	-	-	-	-	-	-	-
Attn-QAT 2026.02	79.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-
ROBERTa-L (Supervised) 2024.01	79.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-
NVFP4 2026.02	79.24	-	-	-	-1.03	-	-	-	-	-	-	-	-	-	-
LO-BCQ (g128) 2025.02	79.24	-	-	-	-	-	-	-	-	-	-	-	-	-	-
PaLM 2-M 2023.05	79.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Laco 2026.01	79.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Step 3.5 Flash 2026.02	79.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Swimba-14B 2026.03	79.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Best Single Model 2024.10	79.01	-	-	-	-	-	-	-	-	-	-	-	-	-	-

Showing 100 of 1943 rows

...