Share your thoughts, 1 month free Claude Pro on usSee more

Machine Unlearning on TOFU 1.0 (Forget10)

52Model Utility (MU)

IHL

Updated 1mo ago

Evaluation Results

Method
IHL 2025.09	52	34	53	0	81	50	42	47	70	53	-	-	-	-	-	-
GD+Sine 2025.09	52	22	48	65.8	93	48	41	46	75	49	-	-	-	-	-	-
LoKU 2025.09	51	13	68	2.08	66	46	42	46	72	52	-	-	-	-	-	-
DPO 2025.09	49	28	48	0	81	48	32	43	71	49	-	-	-	-	-	-
NPO 2025.09	38	44	65	0.231	45	35	39	38	67	42	-	-	-	-	-	-
GD 2025.09	29	11	45	0.0003	39	42	9	53	34	53	-	-	-	-	-	-
MSAbase 2025.06	0.78	0.4	-	-	-	-	-	-	-	-	0.82	0.45	0.92	-	0.07	-
MSA 2025.06	0.78	-	-	0.64	-	-	-	-	-	-	0.82	0.45	0.92	0.07	-	0.4
UNDIAL 2025.06	0.65	0.41	-	-	-	-	-	-	-	-	0.46	0.29	0.84	-	0.08	-
UNDIAL 2025.06	0.65	-	-	0	-	-	-	-	-	-	0.46	0.29	0.84	0.08	-	0.41
GradDiff 2025.06	0.64	0.45	-	-	-	-	-	-	-	-	0.49	0.26	0.88	-	0.21	-
GradDiff 2025.06	0.64	-	-	0	-	-	-	-	-	-	0.49	0.26	0.88	0.21	-	0.45
SatImp 2025.06	0.63	0.44	-	-	-	-	-	-	-	-	0.52	0.28	0.89	-	0.15	-
SatImp 2025.06	0.63	-	-	0	-	-	-	-	-	-	0.52	0.28	0.89	0.15	-	0.44
Ideal 2025.06	0.6	0.39	-	-	-	-	-	-	-	-	0.98	0.98	1	-	0.07	-
Ideal 2025.06	0.6	-	-	1	-	-	-	-	-	-	0.98	0.98	1	0.07	-	0.39
RMU 2025.06	0.59	0.19	-	-	-	-	-	-	-	-	0.86	0.12	0.99	-	0.07	-
RMU 2025.06	0.59	-	-	0.03	-	-	-	-	-	-	0.86	0.12	0.99	0.07	-	0.19
NPO 2025.06	0.58	0.36	-	-	-	-	-	-	-	-	0.75	0.38	0.83	-	0.08	-
NPO 2025.06	0.58	-	-	0.0001	-	-	-	-	-	-	0.75	0.38	0.83	0.08	-	0.36
Target 2025.06	0.57	0.99	-	-	-	-	-	-	-	-	0.03	0.02	1	-	0.98	-
MSAinstruct 2025.06	0.57	0.38	-	-	-	-	-	-	-	-	0.82	0.46	0.91	-	0.07	-
Target 2025.06	0.57	-	-	0	-	-	-	-	-	-	0.03	0.02	1	0.98	-	0.99
MSA 2025.06	0.57	-	-	0.04	-	-	-	-	-	-	0.82	0.46	0.91	0.07	-	0.38
MSAbase 2025.06	0.55	0.32	-	0.02	-	-	-	-	-	-	79	39	87	6	-	-
NPO 2025.06	0.54	0.31	-	0.0003	-	-	-	-	-	-	66	25	92	12	-	-
GradDiff 2025.06	0.54	0.42	-	0	-	-	-	-	-	-	46	21	90	22	-	-
UNDIAL 2025.06	0.54	0.31	-	0	-	-	-	-	-	-	52	26	89	4	-	-
Task Vector 2025.06	0.53	0.29	-	-	-	-	-	-	-	-	0.8	0.27	0.51	-	0.03	-
Task Vector 2025.06	0.53	-	-	0.02	-	-	-	-	-	-	0.8	0.27	0.51	0.03	-	0.29
Target 2025.06	0.52	0.94	-	0	-	-	-	-	-	-	5	3	98	87	-	-
MSAinstruct 2025.06	0.52	0.37	-	0.28	-	-	-	-	-	-	81	44	85	6	-	-
RMU 2025.06	0.52	0.25	-	0.94	-	-	-	-	-	-	85	10	97	6	-	-
Ideal 2025.06	0.51	0.38	-	1	-	-	-	-	-	-	82	98	98	6	-	-
SatImp 2025.06	0.51	0.31	-	0	-	-	-	-	-	-	72	28	77	7	-	-
Task Vector 2025.06	0.48	0.21	-	0.86	-	-	-	-	-	-	85	25	46	5	-	-
MSA500B 2025.06	0.41	0.34	-	-	-	-	-	-	-	-	0.78	0.31	0.64	-	0.05	-
GradDiff 2025.06	0.41	0.42	-	-	-	-	-	-	-	-	0.45	0.23	0.83	-	0.17	-
UNDIAL 2025.06	0.39	0.39	-	-	-	-	-	-	-	-	0.48	0.23	0.86	-	0.06	-
Ideal 2025.06	0.38	0.37	-	-	-	-	-	-	-	-	0.99	0.99	1	-	0.07	-
Target 2025.06	0.37	0.71	-	-	-	-	-	-	-	-	0.19	0.14	0.94	-	0.99	-
RMU 2025.06	0.37	0.14	-	-	-	-	-	-	-	-	0.92	0.08	0.94	-	0.06	-
Task Vector 2025.06	0.37	0.43	-	-	-	-	-	-	-	-	0.53	0.26	0.82	-	0.24	-
SatImp 2025.06	0.37	0.55	-	-	-	-	-	-	-	-	0.28	0.17	0.9	-	0.4	-
MSA2207B 2025.06	0.36	0.35	-	-	-	-	-	-	-	-	0.76	0.4	0.85	-	0.12	-
MSA3691B 2025.06	0.36	0.34	-	-	-	-	-	-	-	-	0.83	0.44	0.85	-	0.08	-
MSAlast 2025.06	0.36	0.33	-	-	-	-	-	-	-	-	0.84	0.42	0.82	-	0.06	-
MSA3859B 2025.06	0.35	0.34	-	-	-	-	-	-	-	-	0.82	0.45	0.83	-	0.06	-
NPO 2025.06	0.33	0.33	-	-	-	-	-	-	-	-	0.71	0.3	0.76	-	0.08	-
KL 2025.09	0	1	60	0.0002	1	17	0	43	0	40	-	-	-	-	-	-
GA 2025.09	0	1	60	0.0002	1	17	0	42	0	39	-	-	-	-	-	-
GA+FILA 2025.09	0	0	23	0	0	33	0	35	0	44	-	-	-	-	-	-
GD+FILA 2025.09	0	10	43	0	10	27	0	38	3	40	-	-	-	-	-	-