Share your thoughts, 1 month free Claude Pro on usSee more

Text-to-SQL on Spider (test)

89.65Execution Accuracy

XiYan-SQL

Updated 11d ago

Evaluation Results

Method
XiYan-SQL 2024.11	89.65	-	-	-	-	-	-	-	-	-	-
MCS-SQL + GPT-4 2024.10	89.6	-	-	-	-	-	-	-	-	-	-
MCS-SQL 2024.11	89.6	-	-	-	-	-	-	-	-	-	-
MCS-SQL + GPT-4 2026.01	89.6	-	-	-	-	-	-	-	-	-	-
Gemini3-Pro 2025.04	89.5	-	-	-	-	-	-	-	-	-	-
OmniSQL-7B 2026.01	87.9	-	-	-	-	-	-	-	-	-	-
CHASE-SQL 2025.05	87.6	-	-	-	-	-	-	-	-	-	-
PET-SQL 2024.03	87.6	-	-	-	-	-	-	-	-	-	-
CHASE-SQL + Gemini 1.5 2024.10	87.6	-	-	-	-	-	-	-	-	-	-
CHASE-SQL 2024.11	87.6	-	-	-	-	-	-	-	-	-	-
PET-SQL 2024.11	87.6	-	-	-	-	-	-	-	-	-	-
SQLForge-LM 2025.05	87.4	-	77.6	-	-	-	-	-	-	-	-
CHESS 2024.10	87.2	-	-	-	-	-	-	-	-	-	-
SuperSQL 2024.11	87	-	-	-	-	-	-	-	-	-	-
PET-SQL 2024.03	86.7	-	-	-	-	-	-	-	-	-	-
DAIL-SQL 2025.05	86.6	-	75	-	-	-	-	-	-	-	-
SENSE 2025.05	86.6	-	75.4	-	-	-	-	-	-	-	-
DAIL-SQL 2024.03	86.6	-	-	-	-	-	-	-	-	-	-
DAIL-SQL + GPT-4 2024.10	86.6	-	-	-	-	-	-	-	-	-	-
DAIL-SQL 2024.11	86.6	-	-	-	-	-	-	-	-	-	-
DAIL-SQL + GPT-4 2026.01	86.6	-	-	-	-	-	-	-	-	-	-
SquRL-7B 2026.02	86.58	-	-	-	-	-	-	-	-	-	-
EVOLSQL-Qwen-7B 2026.01	86.1	-	-	-	-	-	-	-	-	-	-
SQLForge-LM 2025.05	85.8	-	75.7	-	-	-	-	-	-	-	-
DPG-SQL 2024.11	85.6	-	-	-	-	-	-	-	-	-	-
Tool-SQL 2024.11	85.6	-	-	-	-	-	-	-	-	-	-
Think2SQL-14B 2025.04	85.6	-	-	-	-	-	-	-	-	-	-
DIN-SQL 2025.05	85.3	-	73	-	-	-	-	-	-	-	-
DIN-SQL + GPT-4 2023.04	85.3	-	-	-	-	60	-	-	-	-	-
DIN-SQL 2024.03	85.3	-	-	-	-	-	-	-	-	-	-
DIN-SQL + GPT-4 2024.10	85.3	-	-	-	-	-	-	-	-	-	-
DIN-SQL 2024.11	85.3	-	-	-	-	-	-	-	-	-	-
DIN-SQL + GPT-4 2026.01	85.3	-	-	-	-	-	-	-	-	-	-
EVOLSQL-Llama-8B 2026.01	84.9	-	-	-	-	-	-	-	-	-	-
SquRL-1.5B 2026.02	84.83	-	-	-	-	-	-	-	-	-	-
SQLFLOW 2026.01	84.8	-	-	-	-	-	-	-	-	-	-
SquRL-3B 2026.02	84.32	-	-	-	-	-	-	-	-	-	-
ROUTE + Llama3-8B 2026.01	83.9	-	-	-	-	-	-	-	-	-	-
RSL-SQL 2026.02	83.74	-	-	-	-	-	-	-	-	-	-
ROUTE + Qwen2.5-7B 2026.01	83.7	-	-	-	-	-	-	-	-	-	-
Think2SQL-4B 2025.04	83.7	-	-	-	-	-	-	-	-	-	-
Think2SQL-8B 2025.04	83.7	-	-	-	-	-	-	-	-	-	-
GPT-4o 2024.11	83.54	-	-	-	-	-	-	-	-	-	-
SENSE-7B 2026.01	83.5	-	-	-	-	-	-	-	-	-	-
SS 2024.10	83.4	-	-	-	-	-	-	-	84.4	-	-
MARLO 2024.10	83.2	-	-	-	-	-	-	-	83.8	-	-
SQLForge-LM 2025.05	82.9	-	73.2	-	-	-	-	-	-	-	-
MAC-SQL + GPT-4 2026.01	82.8	-	-	-	-	-	-	-	-	-	-
DTS-SQL-7B 2026.01	82.8	-	-	-	-	-	-	-	-	-	-
MAC-SQL 2026.02	82.53	-	-	-	-	-	-	-	-	-	-
C3 2024.03	82.3	-	-	-	-	-	-	-	-	-	-
C3 + ChatGPT 2024.10	82.3	-	-	-	-	-	-	-	-	-	-
C3 2024.11	82.3	-	-	-	-	-	-	-	-	-	-
Qwen2.5-Coder-7B-Instruct 2026.01	82.2	-	-	-	-	-	-	-	-	-	-
DCG-SQL 2025.05	82.1	1.3	-	-	-	-	-	-	-	-	-
DIN-SQL 2026.02	82.07	-	-	-	-	-	-	-	-	-	-
LinkAlign 2026.02	81.79	-	-	-	-	-	-	-	-	-	-
MARLO 2024.10	81.7	-	-	-	-	-	-	-	83.2	-	-
SS 2024.10	81.6	-	-	-	-	-	-	-	83.4	-	-
MARLO 2024.10	81.2	-	-	-	-	-	-	-	84	-	-
SS 2024.10	80.7	-	-	-	-	-	-	-	83.1	-	-
MQS 2024.10	80.5	-	-	-	-	-	-	-	82.3	-	-
MQS 2024.10	80.2	-	-	-	-	-	-	-	83.1	-	-
RESDSQL 2025.05	79.9	-	-	-	-	-	-	-	-	-	-
RESDSQL-3B + NatSQL 2023.04	79.9	-	-	-	-	72	-	-	-	-	-
RESDSQL-3B + NatSQL 2024.03	79.9	-	-	-	-	-	-	-	-	-	-
RESDSQL 3B 2024.10	79.9	-	-	-	-	-	-	-	-	-	-
CHESS 2026.02	79.56	-	-	-	-	-	-	-	-	-	-
QS 2024.10	79.4	-	-	-	-	-	-	-	82.9	-	-
Random 2024.10	78.6	-	-	-	-	-	-	-	81.8	-	-
QS 2024.10	78.6	-	-	-	-	-	-	-	80.7	-	-
DIN-SQL + CodeX davinci 2023.04	78.2	-	-	-	-	57	-	-	-	-	-
DIN-SQL + CodeX 2024.10	78.2	-	-	-	-	-	-	-	-	-	-
Random 2024.10	78.2	-	-	-	-	-	-	-	82.3	-	-
T5-3B + NatSQL 2024.10	78	-	-	-	-	-	-	-	-	-	-
MQS 2024.10	78	-	-	-	-	-	-	-	82.8	-	-
GRAPHIX + PICARD + T5-3B 2023.01	77.6	-	-	-	-	-	-	-	-	-	-
Graphix-3B+PICARD 2023.04	77.6	-	-	-	-	74	-	-	-	-	-
Graphix-3B + PICARD 2024.10	77.6	-	-	-	-	-	-	-	-	-	-
0-shot 2024.10	76.8	-	-	-	-	-	-	-	81.8	-	-
SHIP+PICARD 2023.04	76.6	-	-	-	-	73.1	-	-	-	-	-
N-best Rerankers + PICARD 2023.04	75.9	-	-	-	-	72.2	-	-	-	-	-
Qwen2.5-7B 2026.01	75.9	-	-	-	-	-	-	-	-	-	-
0-shot 2024.10	75.6	-	-	-	-	-	-	-	81.3	-	-
RASAT+PICARD 2022.05	75.5	-	-	-	-	70.9	-	-	-	-	-
RASAT + PICARD + T5-3B 2023.01	75.5	-	-	-	-	-	-	-	-	-	-
RASAT+PICARD 2023.04	75.5	-	-	-	-	70.9	-	-	-	-	-
SQLForge-LM 2025.05	75.3	-	62.8	-	-	-	-	-	-	-	-
PICARD 2025.05	75.1	-	-	-	-	-	-	-	-	-	-
T5-3B + PICARD 2022.05	75.1	-	-	-	-	71.9	-	-	-	-	-
PICARD + T5-3B 2023.01	75.1	-	-	-	-	-	-	-	-	-	-
T5-3B+PICARD 2023.04	75.1	-	-	-	-	71.9	-	-	-	-	-
Random 2024.10	75.1	-	-	-	-	-	-	-	82.2	-	-
QS 2024.10	75.1	-	-	-	-	-	-	-	80.5	-	-
ACT-SQL 2025.05	75	0.7	-	-	-	-	-	-	-	-	-
NatSQL+GAP 2022.05	73.3	-	-	-	-	68.7	-	-	-	-	-
NatSQL + GAP 2023.01	73.3	-	-	-	-	-	-	-	-	-	-
RATSQL+GAP+NatSQL 2023.04	73.3	-	-	-	-	68.7	-	-	-	-	-
MAC-SQL + Qwen2.5-7B 2026.01	72.9	-	-	-	-	-	-	-	-	-	-
Llama-3.1-8B-Instruct 2026.01	72.2	-	-	-	-	-	-	-	-	-	-

Showing 100 of 222 rows