Share your thoughts, 1 month free Claude Pro on usSee more

Text-to-SQL on Spider-DK

81.9Execution Accuracy (EX)

FineStep

Updated 9d ago

Evaluation Results

Method
FineStep 2026.05	81.9	-	-	-	-	-	-	-
FineStep-4B 2026.05	81.5	-	-	-	-	-	-	-
FineStep 2026.05	81.5	-	-	-	-	-	-	-
Arctic-Text2SQL-R1 2025.11	81.5	-	-	-	-	-	-	-
KE-RL 2026.05	80.97	-	-	-	-	-	-	-
GRPO 2026.05	80.7	-	-	-	-	-	-	-
GIGPO 2026.05	80.4	-	-	-	-	-	-	-
SENSE-13B 2026.05	80.2	-	-	-	-	-	-	-
ReEx-SQL-7B 2026.05	80.2	-	-	-	-	-	-	-
GSPO 2026.05	80.2	-	-	-	-	-	-	-
FineStep-8B 2026.05	80	-	-	-	-	-	-	-
FineStep 2026.05	80	-	-	-	-	-	-	-
DAPO 2026.05	79.6	-	-	-	-	-	-	-
DAPO 2026.05	79.4	-	-	-	-	-	-	-
GIGPO 2026.05	79.1	-	-	-	-	-	-	-
GSPO 2026.05	78.9	-	-	-	-	-	-	-
SQL-o1 + Llama3-8B 2026.05	78.7	-	-	-	-	-	-	-
GRPO 2026.05	78.7	-	-	-	-	-	-	-
GRPO 2026.05	78.7	-	-	-	-	-	-	-
MARS-SQL 2025.11	78.13	-	-	-	-	-	-	-
MARS-SQL 2025.11	78.13	-	-	-	-	-	-	-
SQL-R1-7B* 2026.05	78.1	-	-	-	-	-	-	-
Think2SQL-14B 2025.04	77.8	-	-	-	-	-	-	-
OmniSQL-32B 2026.05	77.6	-	-	-	-	-	-	-
KE-RL 2026.05	76.58	-	-	-	-	-	-	-
Omni 2026.05	76.52	-	-	-	-	-	-	-
MTIR-SQL + Qwen3-14B 2026.05	76.3	-	-	-	-	-	-	-
OmniSQL-7B 2026.01	76.1	-	-	-	-	-	-	61.4
OmniSQL 2025.11	76.1	-	-	-	-	-	-	-
Think2SQL-4B 2025.04	76	-	-	-	-	-	-	-
Think2SQL-8B 2025.04	75.9	-	-	-	-	-	-	-
KE-ICL 2026.05	75.32	-	-	-	-	-	-	-
No-Train 2026.05	75.3	-	-	-	-	-	-	-
Share 2025.11	75.3	-	-	-	-	-	-	-
No-Train 2026.05	75	-	-	-	-	-	-	-
ROUTE + Llama3-8B 2026.05	74.6	-	-	-	-	-	-	-
EVOLSQL-7B 2026.01	74.2	-	-	-	-	-	-	61.9
CodeS 2026.05	74.2	-	-	-	-	-	-	-
KE-ICL 2026.05	74.02	-	-	-	-	-	-	-
SQL-GEN 2026.05	73.9	-	-	-	-	-	-	-
No-Train 2026.05	73.6	-	-	-	-	-	-	-
Reasoning-SQL* 2026.05	73.3	-	-	-	-	-	-	-
Reasoning SQL 2025.11	73.03	-	-	-	-	-	-	-
DAIL-SQL 2026.05	73.02	-	-	-	-	-	-	-
TA-SQL + GPT-4 2026.05	72.9	-	-	-	-	-	-	-
GPT-4o 2025.11	72.9	-	-	-	-	-	-	-
Omni 2026.05	72.47	-	-	-	-	-	-	-
ASTRES 2025.05	72.3	59.1	-	-	-	-	-	-
FastRAText+GPT-4 2026.05	72.3	-	-	-	-	-	-	-
ACT-SQL 2025.05	72	47.7	-	-	-	-	-	-
CodeS 2025.11	72	-	-	-	-	-	-	-
GPT-O3-mini 2025.11	71.77	-	-	-	-	-	-	-
O3-mini 2025.11	71.77	-	-	-	-	-	-	-
DCG-SQL 2025.05	71.6	66.5	-	-	-	-	-	-
CodeS 2026.05	71.29	-	-	-	-	-	-	-
SFT CodeS-15B 2026.05	70.7	-	-	-	-	-	-	-
ASTRES 2025.05	70.5	46.4	-	-	-	-	-	-
DAIL-SQL 2026.05	70.43	-	-	-	-	-	-	-
SQL-GEN 2026.05	70.3	-	-	-	-	-	-	-
ACT-SQL 2025.05	69.5	47.5	-	-	-	-	-	-
DCG-SQL 2025.05	69	59.4	-	-	-	-	-	-
ASTRES 2025.05	68.8	49.3	-	-	-	-	-	-
Qwen3-coder 2025.11	68.79	-	-	-	-	-	-	-
CYCLESQL + GPT-4 2026.05	68.5	-	-	-	-	-	-	-
KE-ICL 2026.05	68.41	-	-	-	-	-	-	-
DCG-SQL 2025.05	68.4	62.8	-	-	-	-	-	-
ACT-SQL 2025.05	68.2	45.4	-	-	-	-	-	-
KE-ICL 2026.05	68.1	-	-	-	-	-	-	-
Base Model 2026.01	67.5	-	-	-	-	-	-	53.4
GPT-5 2025.11	66.92	-	-	-	-	-	-	-
GPT-5 2025.11	66.92	-	-	-	-	-	-	-
DCG-SQL 2025.05	66.5	60.2	-	-	-	-	-	-
SQL-PaLM + PaLM2 2026.05	66.5	-	-	-	-	-	-	-
CodeS 2026.05	65.98	-	-	-	-	-	-	-
SFT (BIRD+Spider) 2026.01	65.8	-	-	-	-	-	-	55.8
CodeS 2026.05	65.34	-	-	-	-	-	-	-
DCG-SQL 2025.05	65	55.5	-	-	-	-	-	-
DAIL-SQL 2026.05	64.91	-	-	-	-	-	-	-
DIN-SQL 2025.05	64.3	36.6	-	-	-	-	-	-
DAIL-SQL 2026.05	63.95	-	-	-	-	-	-	-
ACT-SQL 2025.05	63.6	48	-	-	-	-	-	-
ACT-SQL 2025.05	63.2	44.9	-	-	-	-	-	-
KE-RL 2026.05	62.71	-	-	-	-	-	-	-
Qwen2.5-7B 2025.11	61.31	-	-	-	-	-	-	-
Qwen-2.5-coder 2025.11	61.31	-	-	-	-	-	-	-
SQL-GEN 2026.05	60.12	-	-	-	-	-	-	-
DCG-SQL 2025.05	59.1	52.5	-	-	-	-	-	-
Omni 2026.05	56.97	-	-	-	-	-	-	-
DIN-SQL 2025.05	56.3	44.1	-	-	-	-	-	-
ACT-SQL 2025.05	54.4	41.7	-	-	-	-	-	-
DIN-SQL 2025.05	54.1	16.3	-	-	-	-	-	-
KE-ICL 2026.05	52.27	-	-	-	-	-	-	-
CodeS 2026.05	48.17	-	-	-	-	-	-	-
DAIL-SQL 2026.05	46.92	-	-	-	-	-	-	-
DIN-SQL 2025.05	35.7	27.5	-	-	-	-	-	-
o3-mini 2025.11	-	-	75.54	67.61	60.52	-	-	-
GPT-4.1 2025.11	-	-	76.28	72.19	62.12	-	-	-
DeepSeek-R1-250120 2025.11	-	-	77.2	77.41	64.55	-	-	-
Deepseek-V3-241226 2025.11	-	-	72.85	63.29	57.7	-	-	-
Kimi-K2 2025.11	-	-	75.79	67.5	60.7	-	-	-

Showing 100 of 142 rows