Our new X account is live! Follow @wizwand_team for updates

Logical Query Answering on FB15k (test)

0.958MRR (1p)

GNN-QE

Updated 4d ago

Evaluation Results

Method
GNN-QE 2022.05	0.958	0.945	0.97	0.94	0.984	0.927	0.916	0.936	-	-	-	-	-	-	-	0.98	0.907	0.905	0.944	0.978	-
CQD-CO 2020.11	0.918	0.576	0.454	0.191	0.796	0.837	0.336	0.513	0.816	0.319	-	-	-	-	-	-	-	-	-	-	-
CQD-Beam 2020.11	0.918	0.68	0.779	0.577	0.796	0.837	0.375	0.658	0.839	0.345	-	-	-	-	-	-	-	-	-	-	-
QTO 2022.12	0.895	0.74	0.674	0.588	0.803	0.836	0.74	0.752	0.767	0.613	-	-	-	-	49.2	61.1	61.2	47.6	48.9	27.5	0.718
CQD-CO 2022.05	0.892	0.469	0.253	0.134	0.744	0.783	0.332	0.441	0.418	0.219	-	-	-	-	-	-	-	-	-	-	-
CQD-Beam 2022.05	0.892	0.582	0.543	0.286	0.744	0.783	0.677	0.582	0.424	0.309	-	-	-	-	-	-	-	-	-	-	-
CQD-CO 2022.12	0.892	0.469	0.253	0.134	0.744	0.783	0.332	0.441	0.418	0.219	-	-	-	-	-	-	-	-	-	-	0.353
CQD-Beam 2022.12	0.892	0.582	0.543	0.286	0.744	0.783	0.677	0.582	0.424	0.309	-	-	-	-	-	-	-	-	-	-	0.498
GNN-QE 2022.05	0.885	0.728	0.693	0.587	0.797	0.835	0.704	0.699	0.741	0.61	-	-	-	-	38.6	44.7	41.7	42	30.1	34.3	-
GNN-QE 2022.12	0.885	0.728	0.693	0.587	0.797	0.835	0.704	0.699	0.741	0.61	-	-	-	-	38.6	44.7	41.7	42	30.1	34.3	0.689
GNN-QE 2022.05	0.861	0.673	0.635	0.525	0.748	0.801	0.651	0.636	0.671	0.53	-	-	-	-	28.6	35.4	33.1	33.8	18.6	21.8	-
CQD 2022.05	0.858	0.397	0.178	0.09	0.676	0.717	0.245	0.345	0.309	0.155	-	-	-	-	-	-	-	-	-	-	-
CQD 2022.05	0.858	0.519	0.486	0.225	0.676	0.717	0.623	0.517	0.317	0.25	-	-	-	-	-	-	-	-	-	-	-
Q2B 2020.02	0.786	0.484	0.413	0.303	0.593	0.712	0.211	0.397	0.608	0.33	-	-	-	-	-	-	-	-	-	-	-
Query2Box 2020.11	0.786	0.484	0.413	0.303	0.593	0.712	0.211	0.397	0.608	0.33	-	-	-	-	-	-	-	-	-	-	-
ConE 2022.05	0.733	0.498	0.338	0.292	0.644	0.737	0.357	0.509	0.557	0.314	-	-	-	-	14.8	17.9	18.7	12.5	9.8	15.1	-
ConE 2022.12	0.733	0.498	0.338	0.292	0.644	0.737	0.357	0.509	0.557	0.314	-	-	-	-	14.8	17.9	18.7	12.5	9.8	15.1	0.434
Q2B 2022.05	0.68	0.38	0.21	0.142	0.551	0.665	0.261	0.394	0.351	0.167	-	-	-	-	-	-	-	-	-	-	-
Query2Box 2022.12	0.68	0.38	0.21	0.142	0.551	0.665	0.261	0.394	0.351	0.167	-	-	-	-	-	-	-	-	-	-	0.293
BetaE 2022.05	0.651	0.416	0.257	0.247	0.558	0.665	0.281	0.439	0.401	0.252	-	-	-	-	11.8	14.3	14.7	11.5	6.5	12.4	-
BetaE 2022.12	0.651	0.416	0.257	0.247	0.558	0.665	0.281	0.439	0.401	0.252	-	-	-	-	11.8	14.3	14.7	11.5	6.5	12.4	0.343
GQE 2020.02	0.636	0.386	0.345	0.248	0.515	0.624	0.151	0.31	0.376	0.273	-	-	-	-	-	-	-	-	-	-	-
GQE-DOUBLE 2020.02	0.63	0.384	0.346	0.25	0.515	0.611	0.153	0.32	0.362	0.271	-	-	-	-	-	-	-	-	-	-	-
GQE 2020.11	0.63	0.384	0.346	0.25	0.515	0.611	0.153	0.32	0.362	0.271	-	-	-	-	-	-	-	-	-	-	-
ConE 2022.05	0.624	0.396	0.238	0.204	0.536	0.641	0.256	0.396	0.449	0.217	-	-	-	-	7.3	9.4	9.1	6	4.3	7.5	-
ConE 2022.05	0.6	0.659	0.68	0.7	0.68	0.52	0.56	0.59	-	-	-	-	-	-	-	0.84	0.75	0.61	0.58	0.8	-
GQE 2022.05	0.546	0.28	0.153	0.108	0.397	0.514	0.191	0.276	0.221	0.116	-	-	-	-	-	-	-	-	-	-	-
GQE 2022.12	0.546	0.28	0.153	0.108	0.397	0.514	0.191	0.276	0.221	0.116	-	-	-	-	-	-	-	-	-	-	0.201
BETAE 2020.10	0.52	0.313	0.17	0.169	0.435	0.553	0.193	0.323	-	-	0.281	0.17	0.169	0.174	-	-	-	-	-	-	-
Q2B 2020.10	0.52	0.268	0.127	0.078	0.405	0.534	0.167	0.267	-	-	0.22	-	0.094	-	-	-	-	-	-	-	-
Q2B 2022.05	0.52	0.268	0.127	0.078	0.405	0.534	0.167	0.267	0.22	0.094	-	-	-	-	-	-	-	-	-	-	-
BetaE 2022.05	0.52	0.313	0.17	0.169	0.435	0.553	0.193	0.323	0.281	0.169	-	-	-	-	5.2	6.4	6.7	5.5	2	5.3	-
BetaE 2022.05	0.373	0.494	0.478	0.472	0.572	0.397	0.421	0.519	-	-	-	-	-	-	-	0.622	0.548	0.459	0.465	0.608	-
GQE 2020.10	0.342	0.166	0.083	0.05	0.238	0.349	0.112	0.155	-	-	0.115	-	0.056	-	-	-	-	-	-	-	-
GQE 2022.05	0.342	0.166	0.083	0.05	0.238	0.349	0.112	0.155	0.115	0.056	-	-	-	-	-	-	-	-	-	-	-
Q2B 2022.05	0.301	-	0.219	0.262	0.331	0.27	0.139	0.297	-	-	-	-	-	-	-	-	-	-	-	-	-
BetaE 2026.02	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	0.298	0.217	0.191	0.144	0.184	-
ROG 2026.02	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	0.364	0.357	0.223	0.196	0.25	-