Share your thoughts, 1 month free Claude Pro on usSee more

Zero-shot Accuracy on ARC Challenge

51.1Accuracy

FP16

Updated 1mo ago

Evaluation Results

Method	Links
FP16 2024.06		51.1
QUIP# 2024.06		50.9
AQLM 2024.06		50.7
QUIP# 2024.06		50.5
AQLM 2024.06		50.3
QTIP 2024.06		50.3
QTIP 2024.06		50
QTIP 2024.06		48
AQLM 2024.06		47.9
QUIP# 2024.06		47.6
FP16 2024.06		45.6
AQLM 2024.06		44.8
QTIP 2024.06		44.8
QUIP# 2024.06		44
QTIP 2024.06		44
QUIP# 2024.06		43.6
Dense 2024.06		43.51
AQLM 2024.06		42.8
QTIP 2024.06		41.4
AQLM 2024.06		41
QUIP# 2024.06		40.4
FP16 2024.06		40
QTIP 2024.06		40
QUIP# 2024.06		39.6
QUIP# 2024.06		39.2
QTIP 2024.06		38.9
AQLM 2024.06		38.8
AQLM 2024.06		38.5
QTIP 2024.06		35.7
PG pruning 2024.06		35.58
QUIP# 2024.06		35.2
Wanda-sp 2024.06		34.04
AQLM 2024.06		32.8
SliceGPT 2024.06		32
Bonsai 2024.06		30.37
LLM-Pruner 2024.06		30.3
PG pruning 2024.06		28.5
SliceGPT 2024.06		26.88
Bonsai 2024.06		26.19
Wanda-sp 2024.06		25.51
LLM-Pruner 2024.06		24.65
SliceGPT 2024.06		22.78
Bonsai 2024.06		22.61
LLM-Pruner 2024.06		21.84
PG pruning 2024.06		20.47
Wanda-sp 2024.06		19.2