2024-11-11

我们提出了一种高效、准确的新方法来解决逐层压缩问题,并在此基础上获得了最先进的训练后压缩解决方案,用于修剪和量化。我们的框架应该可以自然扩展到structured 修剪（结构化修剪）,这实际上应该允许进一步优化,并且还应该与通过非结构化修剪和量化进行的进一步压缩兼容。我们的结果表明,训练后压缩可能能够达到与成本高得多的再训练方法相当的准确度。我们计划在未来的工作中对此进行研究,特别是在资源密集型模型的背景下。