Our new X account is live! Follow @wizwand_team for updates

Jailbreak Attack on AdvBench (test)

98ASR (HILL)

Claude-4-sonnet

Updated 4d ago

Evaluation Results

Method
Claude-4-sonnet 2025.09	98	-	-	-	-	-	-	-	-	62	8	20	6	0
Mixtral-8x7B 2025.09	94	-	-	-	-	-	-	-	-	84	64	48	76	80
GPT-4o 2025.09	92	-	-	-	-	-	-	-	-	84	32	24	0	0
Qwen3-8B 2025.09	92	-	-	-	-	-	-	-	-	82	20	46	72	68
Gemma-3-27b-it 2025.09	92	-	-	-	-	-	-	-	-	86	62	36	42	0
Vicuna-7B 2025.09	92	-	-	-	-	-	-	-	-	80	78	38	22	30
DeepseekR1-8B 2025.09	90	-	-	-	-	-	-	-	-	78	42	42	20	60
Gemini-2.5-pro 2025.09	90	-	-	-	-	-	-	-	-	74	14	32	48	0
Deepseek-chat 2025.09	88	-	-	-	-	-	-	-	-	72	52	26	0	0
Doubao-1.5-thinking-pro 2025.09	86	-	-	-	-	-	-	-	-	86	36	40	2	0
Qwen2.5-72B-Instruct 2025.09	84	-	-	-	-	-	-	-	-	82	44	30	12	0
Deepseek-v3 2025.09	84	-	-	-	-	-	-	-	-	80	52	24	0	0
Qwen3-32B 2025.09	74	-	-	-	-	-	-	-	-	70	74	28	2	0
Qwen-Omni-Turbo 2025.09	72	-	-	-	-	-	-	-	-	72	74	26	0	0
GPT-4 2025.09	70	-	-	-	-	-	-	-	-	56	32	20	0	0
Gemini-2.0-flash 2025.09	66	-	-	-	-	-	-	-	-	70	56	36	30	0
O1 2025.09	62	-	-	-	-	-	-	-	-	54	2	14	0	0
Phi-2.7B 2025.09	58	-	-	-	-	-	-	-	-	72	94	44	8	26
GPT-3.5 2025.09	56	-	-	-	-	-	-	-	-	66	82	30	0	0
Llama3.1-8B 2025.09	54	-	-	-	-	-	-	-	-	50	34	8	0	2
Ernie-4.0-turbo-8k 2025.09	38	-	-	-	-	-	-	-	-	64	70	18	6	0
O3 2025.09	18	-	-	-	-	-	-	-	-	2	0	6	0	0
GCG 2024.04	-	24	53	-	-	-	-	-	-	-	-	-	-	-
DSN 2024.04	-	38	64	-	-	-	-	-	-	-	-	-	-	-
GCG 2024.04	-	53	59	-	-	-	-	-	-	-	-	-	-	-
DSN 2024.04	-	63	62	-	-	-	-	-	-	-	-	-	-	-
GCG 2024.04	-	56	40	-	-	-	-	-	-	-	-	-	-	-
DSN 2024.04	-	69	61	-	-	-	-	-	-	-	-	-	-	-
GCG 2024.04	-	45	65	-	-	-	-	-	-	-	-	-	-	-
DSN 2024.04	-	51	77	-	-	-	-	-	-	-	-	-	-	-
GCG 2024.04	-	68	56	-	-	-	-	-	-	-	-	-	-	-
DSN 2024.04	-	78	71	-	-	-	-	-	-	-	-	-	-	-
Llama-2-7b-chat-hf 2024.05	-	-	-	0	-	-	-	-	-	-	-	-	-	-
v_CAA 2024.05	-	-	-	0	-	-	-	-	-	-	-	-	-	-
v_freeform 2024.05	-	-	-	16	-	-	-	-	-	-	-	-	-	-
BiPO 2024.05	-	-	-	73	-	-	-	-	-	-	-	-	-	-
Llama-2-7b-chat-hf 2024.05	-	-	-	16	-	-	-	-	-	-	-	-	-	-
v_CAA 2024.05	-	-	-	16	-	-	-	-	-	-	-	-	-	-
v_freeform 2024.05	-	-	-	3	-	-	-	-	-	-	-	-	-	-
BiPO 2024.05	-	-	-	0	-	-	-	-	-	-	-	-	-	-
No Jailbreak (Baseline) 2025.02	-	-	-	38	101	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	7,827	403	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	7,327	388	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	7,423	390	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	5,615	299	-	-	-	-	-	-	-	-	-
No Jailbreak (Baseline) 2025.02	-	-	-	38	101	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	6,827	361	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	6,385	357	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	5,923	336	-	-	-	-	-	-	-	-	-
R2J 2025.02	-	-	-	4,288	224	-	-	-	-	-	-	-	-	-
Echo Chamber 2026.01	-	-	-	-	-	55	50	50	25	-	-	-	-	-
Crescendo 2026.01	-	-	-	-	-	19	28.6	66.7	0	-	-	-	-	-
DAN 2026.01	-	-	-	-	-	0	9.5	14.3	14.3	-	-	-	-	-
ZO-SPSA 2026.01	-	-	-	83	-	-	-	-	-	-	-	-	-	-
ZO-SPSA 2026.01	-	-	-	73	-	-	-	-	-	-	-	-	-	-
ZO-SPSA 2026.01	-	-	-	60	-	-	-	-	-	-	-	-	-	-