使用运行时量化的方式，与原始计算流程相比,我们通过在分解矩阵之间移动累积部分乘积和来保留减少轴的长度。

我们首先进行具有较大缩放因子的通道组的矩阵乘法。然后,在计算下一个组的矩阵乘法之前,Tender 将累积的整数值左移 1 位。在完成所有组的矩阵乘法后,我们使用最小的缩放因子对最终结果进行去量化。这种方法对于小硬件扩展下的重新缩放具有可忽略的延迟开销。为了减少在运行时确定缩放因子的开销, 我们进一步优化了该方案, 使用校准来预先计算每个通道的缩放因子和偏置, 并在运行时仅应用元数据以执行量化矩阵乘法。我们还在校准时间将每个通道分类到一个组中。

tender 是一个加速器的全套量化解决方案，同时设计软件算法的设计和配套的硬件设计的部分，阅读过程中仅看软件的实现部分。
文中主要提及的是一个矩阵的分解量化过程，组量化的过程和移动窗口的量化过程，运行时重量化（上述已有），其中一些属于不清楚其含义，下面记录不解之处。

以上是遇到的绿色部分记录的问题，用到了一些在其他论文里也见过的技术（只是不了解），如滑动窗口的使用，不过针对隔离异常值这点上进一步的优化，使用了一些其他的优化算法。

Transformer 块产生的输出与输入具有相同的维度,这使得基于 Transformer 的大型语言模型可以通过调整 Transformer 块的数量来轻松扩展。

我们的直觉是,可以通过以特定顺序处理部分和并在添加下一个部分和之前对累积值进行缩放来保留矩阵乘法的减少轴。

其中 表示累积到 部分和的结果。请注意,方程 1 和方程 2 在数学上等价。为了使方程 2 在硬件中高效运行,缩放操作需要由整数 MAC 单元执行同时保持正确性。我们将使用术语 rescale factor 来表示si/si+1之间的信道组。

聚类计算每个通道之间的值范围相似度,然后将具有小距离的通道分组。分类则是基于预定义的阈值,将通道分到合适的阈值范围内。因此,聚类比分类更准确地分组通道,但由于计算开销大,可能不适用于运行时 (没有复杂硬件的情况下)。因此,我们选择使用分类来使算法简单,并且易于扩展以支持运行时分解。

其次,当缩放因子之间的比 值是 2 的幂时,我们可以高效地计算涉及分解量化激活张 量的矩阵乘法,同时具有可忽略的延迟开销,我们在下一 段中讨论这一点。

由于使用 作为重新缩放因子,因此我们在累加和旁边使用移位器进行重新量化。图 5(b) 展示了我们的运行时重新量化方法。我们首先进行具有较大缩放因子的通道组的矩阵乘法。然后,在计算下一个组的矩阵乘法之前,Tender 将累积的整数值左移 1 位。在完成所有组的矩阵乘法后,我们使用最小的缩放因子对最终结果进行去量化。这种方法对于小硬件扩展下的重新缩放具有可忽略的延迟开销。为了减少在运行时确定缩放因子的开销,我们进一步优化了该方案,使用校准来预先计算每个通道的缩放因子和偏置,并在运行时仅应用元数据以执行量化矩阵乘法。我们还在校准时间将每个通道分类到一个组中