Share your thoughts, 1 month free Claude Pro on usSee more

Physical Reasoning on Pooltool

36.5Att. 1 Score

Gemini-2.5-Pro

Updated 1mo ago

Evaluation Results

Method	Links
Gemini-2.5-Pro 2026.03		36.5	68
Gemini-2.5-Pro 2026.03		25	60
Qwen-7B 2026.03		23.5	26.5
MOCK 2026.03		2.33	48
Qwen-7B^P SFT 2026.03		2	66
Qwen-7B^P SFT 2026.03		2	67.33
Qwen-7B^P&I SFT 2026.03		2	67
Qwen-7B^P&I SFT 2026.03		2	69
Qwen-7B^I SFT 2026.03		1	64
Qwen-7B^I SFT 2026.03		1	66.67
Qwen-3B 2026.03		0	50
Qwen-32B 2026.03		0	14.29
Qwen-72B 2026.03		0	18
Qwen-72B 2026.03		0	14
Claude 4.0 Opus 2026.03		0	49
Claude 4.0 Opus 2026.03		0	42
GPT-o3 2026.03		0	25.67
GPT-o3 2026.03		0	22
Qwen-3B^P SFT 2026.03		0	51
Qwen-3B^P SFT 2026.03		0	53.67
Qwen-3B^I SFT 2026.03		0	43
Qwen-3B^I SFT 2026.03		0	45.33
Qwen-3B^P&I SFT 2026.03		0	57
Qwen-3B^P&I SFT 2026.03		0	59.67
Qwen-3B^P GRPO 2026.03		0	58
Qwen-3B^P GRPO 2026.03		0	61
Qwen-3B^I GRPO 2026.03		0	50
Qwen-3B^I GRPO 2026.03		0	52.33
Qwen-3B^P&I GRPO 2026.03		0	55
Qwen-3B^P&I GRPO 2026.03		0	57.33
Qwen-7B^P GRPO 2026.03		0	66
Qwen-7B^P GRPO 2026.03		0	69
Qwen-7B^I GRPO 2026.03		0	60
Qwen-7B^I GRPO 2026.03		0	63
Qwen-7B^P&I GRPO 2026.03		0	69
Qwen-7B^P&I GRPO 2026.03		0	71