Share your thoughts, 1 month free Claude Pro on usSee more

Patched Audio Accuracy Evaluation on Natural Voice Counterfactual Samples

59Adj. Swap Patched Acc

Ultravox

Updated 1mo ago

Evaluation Results

Method	Links
Ultravox 2026.06		59	0.03	45	0.03	34	0.06	52	0.02	48	0.02
Ultravox 2026.06		58	0.02	50	0.06	33	0.02	48	0.01	47	0.02
Ultravox 2026.06		55	0.01	57	0.02	38	0.08	51	0.01	50	0.03
Ultravox 2026.06		53	0.05	46	0.01	41	0.06	38	0.02	45	0.04
Ultravox 2026.06		53	0.01	47	0.01	36	0.06	47	0.01	46	0.02
Ultravox 2026.06		52	0.02	46	0.05	18	0.05	49	0.01	41	0
Ultravox 2026.06		51	0	41	0.02	31	0.04	46	0.01	42	0.01
Ultravox 2026.06		47	0.02	39	0.03	46	0.12	45	0.01	44	0.02
Ultravox 2026.06		47	0	49	0.06	38	0.03	43	0.03	44	0.03
Qwen 2026.06		45	0.21	52	0.27	47	0.18	43	0.21	47	0.22
Qwen 2026.06		45	0.14	50	0.18	49	0.22	42	0.12	47	0.17
Qwen 2026.06		37	0.21	45	0.19	42	0.22	39	0.17	41	0.2
Qwen 2026.06		37	0.12	45	0.13	42	0.14	39	0.12	41	0.13
Qwen 2026.06		36	0.17	40	0.09	45	0.19	41	0.21	41	0.17
Qwen 2026.06		35	0.05	43	0.11	45	0.23	40	0.12	41	0.13
Qwen 2026.06		32	0.1	34	0.04	32	0.07	36	0.05	34	0.05
Qwen 2026.06		32	0.04	43	0.08	39	0.02	36	0.04	38	0.05
Qwen 2026.06		30	0.05	52	0.1	33	0	34	0.03	37	0.05