Share your thoughts, 1 month free Claude Pro on usSee more

Scientific Impact Forecasting on arXiv June 2024 to November 2025 (temporal OOD)

0.582Forecast Score (2025.08)

FAME

Updated 22d ago

Evaluation Results

Method	Links
FAME 2026.05		0.582	0.521	0.633	0.483	0.531	0.562	0.482	0.524	0.433	0.563	0.492	0.45	0.617	0.616	0.676	0.552	0.399	0.37
TGCN 2026.05		0.508	0.351	0.383	0.102	0.207	0.295	0.22	0.277	0.248	0.344	0.151	0.212	0.268	0.077	0.409	0.534	0.355	-0.155
Transformer 2026.05		0.454	0.115	0.41	0.397	0.375	0.243	0.127	0.257	0.377	0.422	0.062	0.297	0.512	0.507	0.441	0.35	0.057	-0.047
XGBoost 2026.05		0.288	0.148	0.321	0.301	0.105	0.182	-0.067	0.154	0.183	0.298	0.364	0.219	0.362	0.347	0.037	0.169	0.061	0.054
SVR 2026.05		0.27	0.151	0.225	0.227	0.394	0.281	0.32	0.37	0.319	0.467	0.447	0.309	0.479	0.459	0.2	0.32	0.297	0.238
SciJudge-4B 2026.05		0.226	-	-	-	-	-	-	-	0.122	0.156	0.269	0.254	0.312	0.174	0.419	0.213	0.274	0.178
GPT-4.1-mini 2026.05		0.174	0.237	0.069	0.209	0.269	0.314	0.131	0.26	0.048	0.16	0.141	0.051	0.096	0.009	0.151	0.14	0.251	0.143
DeepSeek-V3.2 2026.05		0.134	-	-	-	-	-	-	-	0.043	0.23	0.255	0.306	0.214	0.156	0.345	0.237	0.129	0.143
Gemini-3.1-Pro-Preview 2026.05		0.104	-	-	-	-	-	-	-	0.072	0.146	0.243	0.315	0.298	0.005	0.088	0.28	0.14	0.168
GPT-5.2 2026.05		0.082	-	-	-	-	-	-	-	-	-	-	-	-	-	-	0.25	0.2	0.183
Gemini-3-Flash-Preview 2026.05		0.06	-	-	-	-	-	-	-	0.061	0.149	0.209	0.303	0.259	0.142	0.263	0.197	0.216	0.231
GPT-4.1 2026.05		-0.184	0.07	0.078	0.076	0.301	0.22	0.021	0.106	-0.004	0.103	0.058	0.116	0.093	-0.131	-0.057	0.103	0.22	0.07