Share your thoughts, 1 month free Claude Pro on usSee more

Question Answering on ARC Challenge

96.3Accuracy

GPT-4

Updated 16d ago

Evaluation Results

Method
GPT-4 2023.11	96.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2 Base 2026.01	96.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MiMo-V2-Flash Base 2026.01	95.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-V3.1 Base 2026.01	95.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-V3.2 Exp Base 2026.01	95.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Small 24B Inst 2501 2026.01	93.9	-	-	0	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Small 24B Inst 2501 2026.01	93.9	-	-	0	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 14B Base 2026.01	93.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 14B Base 2026.01	93.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Small 24B Base 2501 2026.01	92.9	-	-	0.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Small 24B Base 2501 2026.01	92.9	-	-	0.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B Base 2026.01	92.5	-	-	0	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B Base 2026.01	92.5	-	-	0	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B Base 2026.01	92.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B Base 2026.01	92.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 14B 2026.01	92.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 14B 2026.01	92.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B 2026.01	91.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 8B 2026.01	91.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KALE 2026.01	89.93	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SALAD-7B 2025.10	89.2	-	-0.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Cont-Squeeze 2026.02	89.11	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Direct Fine-tuning 2026.02	89.02	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Direct Fine-tuning 2026.02	88.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
In-Squeeze 2026.02	88.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
In-Squeeze 2026.02	88.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LinUCB+KL 2026.02	88.8	-	-	7.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Cont-Squeeze 2026.02	88.76	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Direct Fine-tuning 2026.02	88.59	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KALE 2026.01	88.57	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours r=1 2026.02	88.4	-	-	-	-	0	-	-	-	-	-	-	-	-	-	-	-
Qwen3 4B Base 2026.01	88.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 4B Base 2026.01	88.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
JoLA 2026.02	88.1	-	-	-	-	-0.3	-	-	-	-	-	-	-	-	-	-	-
FairSteer 2026.01	87.82	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LFTF 2026.01	87.82	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Falcon-180B 2023.11	87.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Base 2026.01	87.77	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Omni-7B 2025.10	87.6	-	0.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoFIT 2026.02	87.6	-	-	-	-	-0.8	-	-	-	-	-	-	-	-	-	-	-
Qwen3 4B 2026.01	87.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 4B 2026.01	87.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
CRISPR 2026.01	86.86	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours (1-vec) 2026.02	86.3	-	-	-	-	-2.1	-	-	-	-	-	-	-	-	-	-	-
Mixtral 8x7B 2024.01	85.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
CRISPR 2026.01	85.75	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
TASO 2025.09	85.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KnowBias 2026.01	85.49	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT3Mix 2026.01	85.23	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-3.5 2023.11	85.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-3.5 2024.01	85.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LLaMA 2 70B 2024.01	85.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GraphRAG 2026.01	85.07	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AugGPT 2026.01	84.47	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoRA-XS 2025.09	84	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
R1-Oracle 2026.03	84	-	0	-	-	-	79.12	-	-	-	-	-	-	-	-	-	-
STaR 2026.01	83.87	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
StructGPT 2026.01	83.28	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DoRA 2025.09	83.26	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SALAD-3B 2025.10	83.1	-	-1.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoRA 2025.09	82.83	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Fine-tune 2025.09	82.72	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
StructGPT 2026.01	82.43	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SDFT 2026.01	82.42	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AugGPT 2026.01	82.34	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
LoRA 2025.09	82.08	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Adapter 2025.09	81.98	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
ReGiFT 2026.01	81.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B Inst 2026.01	81.9	-	-	-0.2	-	-	-	-	-	-	-	-	-	-	-	-	-
DMT 2026.01	81.83	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B Inst 2026.01	81.8	-	-	-0.3	-	-	-	-	-	-	-	-	-	-	-	-	-
IA3 2025.09	81.76	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DiVA-Llama3.1-8B 2025.10	81.7	-	0.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-
AdaLoRA 2025.09	81.66	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DMT 2026.01	81.48	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KALE 2026.01	81.23	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KALE 2026.01	81.23	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
CoT 2026.01	81.06	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2026.01	81.06	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
VERA 2025.09	81.02	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Nemo Base 2407 2026.01	81	-	-	-0.1	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Nemo Base 2407 2026.01	81	-	-	-0.1	-	-	-	-	-	-	-	-	-	-	-	-	-
SDFT 2026.01	80.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Nemo Base 2407 2026.01	80.7	-	-	-0.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Mistral Nemo Base 2407 2026.01	80.7	-	-	-0.3	-	-	-	-	-	-	-	-	-	-	-	-	-
TOG 2026.01	80.55	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MemReward 2026.03	80.44	-	-2.1	-	-	-	77.02	-	-	-	-	-	-	-	-	-	-
Qwen3 1.7B Base 2026.01	80.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3 1.7B Base 2026.01	80.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours r=1 2026.02	80.3	-	-	-	-	-0.3	-	-	-	-	-	-	-	-	-	-	-
GraphRAG 2026.01	80.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
MeanLearn 2026.01	80.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
KG-SFT 2026.01	80.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B 2026.01	80.1	-	-	0.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B 2026.01	80.1	-	-	0.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Ours (1-vec) 2026.02	80	-	-	-	-	-0.6	-	-	-	-	-	-	-	-	-	-	-
R1-p 2026.03	80	-	-3.45	-	-	-	75.67	-	-	-	-	-	-	-	-	-	-
Vanilla 2026.01	79.95	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B 2026.01	79.7	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3.1 8B 2026.01	79.7	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	-	-

Showing 100 of 1115 rows

...