Share your thoughts, 1 month free Claude Pro on usSee more

Jailbreak Attack Evaluation on AdvBench

86.3ASR Success Rate

Amnesia

Updated 1mo ago

Evaluation Results

Method	Links
Amnesia 2026.03		86.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Baseline (No Attack) 2026.03		55.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Baseline (No Attack) 2026.03		34.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Mixtral 8×7B 2026.01		27	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Grok 3 Mini 2026.01		5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
DeepSeek V3.1 2026.01		3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
GPT-4o-mini 2026.01		2.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Qwen2.5 7B 2026.01		2.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
Gemini 2.5 Flash 2026.01		1.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
SFT 2024.08		-	6	80	13	37	31	14.8	65	78	91	4	21.2	40.09	-	-	-	-	-	-	-	-
DPO 2024.08		-	0	47	12	30	30	7	50	61	44	4	18.4	28.4	-	-	-	-	-	-	-	-
E-DPO 2024.08		-	0	38	8	15	21	5.2	41	53	31	4	13.6	20.89	-	-	-	-	-	-	-	-
GCG 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	-	86	0	-	0	4	16	-	-
ARCA 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	-	2	0	-	0	0	0	-	-
AutoDAN 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	-	73	-	-	-	-	66	-	-
PAIR 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	-	42	54	-	4	4	30	-	-
CipherChat (SelfCipher) 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	9	5	39	19	0	4	0	0	4
CodeAttack 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	51	94	22	12	89	24	33	40	93
CodeAttack 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	68	92	28	32	87	36	88	90	93
CodeAttack 2024.03		-	-	-	-	-	-	-	-	-	-	-	-	78	84	80	81	84	84	54	70	82