Share your thoughts, 1 month free Claude Pro on usSee more

Agentic Oversight on VitaBench

82.13Detection Accuracy

FORMALJUDGE

Updated 1mo ago

Evaluation Results

Method	Links
FORMALJUDGE 2026.02		82.13
FORMALJUDGE 2026.02		78.53
FORMALJUDGE 2026.02		78.53
LLM + Python 2026.02		76.23
LLM + Struct. 2026.02		75.04
FORMALJUDGE 2026.02		74.93
LLM + Struct. 2026.02		74.72
FORMALJUDGE 2026.02		74.52
LLM 2026.02		74.36
LLM + Python 2026.02		73.85
LLM + Few-Shot 2026.02		73.54
LLM + Python 2026.02		73.14
LLM 2026.02		72.23
LLM + Few-Shot 2026.02		72.21
LLM + CoT 2026.02		72.15
FORMALJUDGE 2026.02		70.97
LLM + Struct. 2026.02		70.82
LLM + Python 2026.02		69.84
LLM + CoT 2026.02		68.42
LLM + Few-Shot 2026.02		67.93
LLM 2026.02		67.82
LLM + Python 2026.02		67.51
LLM + CoT 2026.02		67.02
LLM + CoT 2026.02		66.13
LLM 2026.02		66.05
LLM + Python 2026.02		65.92
LLM + CoT 2026.02		65.84
LLM + Struct. 2026.02		64.52
LLM + Struct. 2026.02		64.45
LLM + Few-Shot 2026.02		64.43
FORMALJUDGE 2026.02		64.24
LLM + CoT 2026.02		62.76
LLM 2026.02		62.61
LLM + Python 2026.02		62.14
LLM + Struct. 2026.02		62.03
LLM 2026.02		60.94
LLM + Few-Shot 2026.02		60.91
LLM 2026.02		59.31
LLM + Struct. 2026.02		59.28
LLM + Few-Shot 2026.02		58.52
LLM + CoT 2026.02		58.04
LLM + Few-Shot 2026.02		56.83