2024-11-25

使用的三个重要的量化技巧：为了保持准确性,Atom 包含了三个关键的量化设计:(1) 它采用混合精度量化,保留少量但显著的高精度激活和权重,以保持准确性。(2) 它在权重和激活上都采用了精细分组量化,这自然地减少了量化。量化错误。3) 与预先计算激活的量化参数不同,Atom 动态地对激活进行量化,以最好地捕捉每个输入的分布。

动态对激活进行量化和排序，然后分别进行 low-bit 和 high-bit 的分组量化

为了确保高硬件效率并最小化量化开销,Atom:(1) 重新排列激活和权重,以保持混合精度操作的常规内存访问,(2) 将量化和重新排列操作融合到现有的操作中,以减轻开销,(3) 进一步将异常值量化为 8 位,以在准确性和效率之间保持平衡,并 (4) 将 KV 缓存量化为低位表示,以减少内存移动。