Share your thoughts, 1 month free Claude Pro on usSee more

Verification of Digital Agent Trajectories on VisualWebArena (VWA) and OSWorld

86Accuracy

GPT-5

Updated 1mo ago

Evaluation Results

Method	Links
GPT-5 2025.07		86	85	87	2	1
GPT-o4 2025.07		84	86	82	6	2
Gemini-2.5-Flash 2025.07		82	89	78	10	6
GPT-4.1 2025.07		81	87	78	10	6
GPT-5 2025.07		81	86	78	8	4
Gemini 2.5 Flash 2025.07		80	88	76	12	8
GPT-o1 2025.07		78	83	73	13	7
GPT-o4 2025.07		78	88	71	11	7
Qwen3-235b-a22b 2025.07		77	91	71	15	12
Qwen3-32b 2025.07		76	88	71	14	11
Qwen3-235b-a22b 2025.07		76	89	70	15	12
GPT-5-Nano 2025.07		76	82	73	10	6
Gemini-2.5-Flash 2025.07		74	92	64	21	18
GPT-4.1 Mini 2025.07		74	92	65	17	14
GPT-4.1 2025.07		74	90	64	19	15
GPT-5-Nano 2025.07		72	84	65	16	11
GPT-o1 2025.07		70	80	62	22	16
Gemini 2.0 2025.07		69	94	55	27	23
Qwen3-32b 2025.07		69	92	57	25	21
Gemini 2.5 Flash 2025.07		68	94	55	27	24
Qwen3-235b-a22b 2025.07		66	92	53	27	24
Gemini 2.5 Lite 2025.07		65	90	51	29	25
Qwen3-235b-a22b 2025.07		65	93	51	28	25
Llama-4-Maverick-17B-128E 2025.07		65	89	54	25	22
Gemini 2.0 2025.07		61	96	42	36	34
GPT-4.1 Mini 2025.07		60	96	40	37	35
Llama-4-Maverick-17B-128E 2025.07		60	92	44	33	29
Gemini 2.5 Lite 2025.07		55	96	34	41	39