Share your thoughts, 1 month free Claude Pro on usSee more

Code Generation on HumanEval+

100Pass@1

Gemini-3-Pro-preview

Updated 4d ago

Evaluation Results

Method
Gemini-3-Pro-preview 2026.03	100	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B-Thinking-2507 2026.03	98.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-Opus-4.5 2026.03	98.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-Sonnet-4.5 2026.03	98.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2-Thinking 2026.03	98.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-Coder-480B-A35B-Instruct 2026.03	97.6	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Loop-Instruct 2026.03	97.6	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Loop-Thinking 2026.03	97.6	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-5.1 2026.03	97	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B-Instruct-2507 2026.03	96.3	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Instruct 2026.03	96.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2-Instruct-0905 2026.03	94.5	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini-3-Pro-preview 2026.03	94.5	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-Coder-30B-A3B-Instruct 2026.03	93.9	-	-	-	-	-	-	-	-	-	-	-	-	-
Deepseek-V3.2 2026.03	93.9	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Thinking 2026.03	93.9	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-32B-Instruct 2026.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-Dev-72B 2026.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B-Thinking-2507 2026.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-Opus-4.5 2026.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-Sonnet-4.5 2026.03	93.3	-	-	-	-	-	-	-	-	-	-	-	-	-
GLM 4.6 2025.12	92.7	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-14B-Thinking 2026.03	92.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-Coder-480B-A35B-Instruct 2026.03	92.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2-Thinking 2026.03	92.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini-2.5-Pro 2026.03	92.07	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-235B-A22B-Instruct-2507 2026.03	91.5	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Loop-Instruct 2026.03	91.5	-	-	-	-	-	-	-	-	-	-	-	-	-
KAT-Dev 2026.03	90.9	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Instruct 2026.03	90.2	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-5.1 2026.03	90	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2-Instruct-0905 2026.03	89.6	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Loop-Thinking 2026.03	89.6	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek V3.2 2025.12	89	-	-	-	-	-	-	-	-	-	-	-	-	-
LongCat-Flash Chat 2025.12	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-
KAT-Dev-72B-Exp 2026.03	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini-3-Flash-preview 2026.03	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Deepseek-V3.2 2026.03	88.4	-	-	-	-	-	-	-	-	-	-	-	-	-
ReflexiCoder-8B (Multiple) 2026.03	87.8	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-40B-Thinking 2026.03	87.8	-	-	-	-	-	-	-	-	-	-	-	-	-
LongCat-Flash Exp-Chat 2025.12	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-14B-Instruct 2025.12	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-32B-Instruct 2025.12	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-5.1 2026.03	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
ReflexiCoder-8B (Single) 2026.03	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B-Instruct 2026.03	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
GLM-4.7 2026.03	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-Coder-30B-A3B-Instruct 2026.03	87.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-32B-Instruct 2026.03	86.6	-	-	-	-	-	-	-	-	-	-	-	-	-
KAT-Dev 2026.03	86.6	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o 2024.07	86	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o-2024-08-06 2025.12	86	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude-3.5-Sonnet-20241022 2025.12	86	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-14B-Thinking 2026.03	86	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-Dev-72B 2026.03	86	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o 2024.10	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Kimi-K2 Base 2026.01	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini-3-Flash-preview 2026.03	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-
LaDiR 2025.10	84.2	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B-Instruct 2025.12	84.1	-	-	-	-	-	-	-	-	-	-	-	-	-
AZR 2026.03	83.54	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-14B-Instruct 2026.03	83.5	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o 2024.10	82.9	-	-1.9	-	-	-	-	-	-	-	-	-	-	-
UCoder-32B 2025.12	82.9	-	-	-	-	-	-	-	-	-	-	-	-	-
SecCoderX 2026.02	82.74	90.85	-	-	-	-	-	-	-	-	-	-	-	-
Llama 3 405B 2024.07	82.3	-	-	-	-	-	-	-	-	-	-	-	-	-
Claude 3.5 Sonnet 2024.07	82.3	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o mini 2024.10	82.3	-	1.8	-	-	-	-	-	-	-	-	-	-	-
DS-Coder-V2-Instruct 2025.12	82.3	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-R1-Distill-Qwen-32B 2026.03	81.71	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4-Turbo 2024.05	81.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B-Instruct 2026.03	81.7	-	-	-	-	-	-	-	-	-	-	-	-	-
KAT-Dev-72B-Exp 2026.03	81.7	-	-	-	-	-	-	-	-	-	-	-	-	-
UCoder-14B 2025.12	81.1	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-Coder-V2-Lite-Instruct 2026.03	81.1	-	-	-	-	-	-	-	-	-	-	-	-	-
Seed-Coder-8B-Instruct 2026.03	81.1	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o mini 2024.10	80.5	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek-Coder V2 2024.10	80.5	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen3-8B 2026.03	80.49	-	-	-	-	-	-	-	-	-	-	-	-	-
Seed-Coder-8B-Instruct 2026.03	80.49	-	-	-	-	-	-	-	-	-	-	-	-	-
GASP + Real-data RL 2026.03	80.49	-	-	-	-	-	-	-	-	-	-	-	-	-
SliderQuant 2026.03	80.49	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-7B-Instruct 2026.03	79.9	-	-	-	-	-	-	-	-	-	-	-	-	-
GLM-4.7 2026.03	79.9	-	-	-	-	-	-	-	-	-	-	-	-	-
Base 2026.02	79.88	92.68	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B-Instruct 2026.03	79.88	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B 2026.03	79.88	-	-	-	-	-	-	-	-	-	-	-	-	-
GASP 2026.03	79.67	-	-	-	-	-	-	-	-	-	-	-	-	-
TaH+ 2025.10	79.3	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4.1 2026.03	78.88	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen-Long 2024.10	78.7	-	1.9	-	-	-	-	-	-	-	-	-	-	-
OpenCoder-8B-Instruct 2025.12	78.7	-	-	-	-	-	-	-	-	-	-	-	-	-
IQuest-Coder-V1-14B-Instruct 2026.03	78.7	-	-	-	-	-	-	-	-	-	-	-	-	-
Real-data RL 2026.03	78.66	-	-	-	-	-	-	-	-	-	-	-	-	-
SecCoderX 2026.02	77.74	92.68	-	-	-	-	-	-	-	-	-	-	-	-
Claude-Sonnet-4.5 2026.03	77.44	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4 2024.07	77.4	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen-Long 2024.10	76.8	-	-	-	-	-	-	-	-	-	-	-	-	-
Codestral 2024.10	76.8	-	1.2	-	-	-	-	-	-	-	-	-	-	-
UCoder-7B 2025.12	76.8	-	-	-	-	-	-	-	-	-	-	-	-	-

Showing 100 of 662 rows