主仓库
01-论文
1bit LLMS
模型量化
无损压缩
异常感知（论文原文）
Atom
AWQ
GPTQ
GPTQ（原文）
KIVI
KVquant
LLM.int8()
nnzip
OBC（高效压缩）
OLAccel
QLoRA
Qserve
Qserve（原文）
SmoothQuant
Tender
Zeroquant
index

2024-12-2

量化权重矩阵

  • 任意顺序洞察
  • 惰性批量更新
  • Cholesky 重新表述

算法伪码如下：
Pasted image 20241202170727.webp

Table Of Contents
2024-12-2
量化权重矩阵