量化
量化方法的分类
- 对称性:非对称量化、对称量化
- 均匀性:均匀量化、非均匀量化
- 训练后量化(PTQ)、量化感知训练(QAT)
- 动态量化、静态量化
- 线性量化、非线性量化
对于量化来说,我们需要保证模型推理过程中(例如可以提高bachsize),计算时间占主导地位,而不是读数据、写数据占主要时间。这样我们使用量化就能明显地加速,否则可能量化之后和没量化的时间差距并不大
量化的计算方法
最常用的是仿射量化(Affine Quantization),也称为线性量化(Linear Quantization)*或*非对称量化(Asymmetric Quantization)。其核心思想是将一个浮点数范围 [r_min, r_max] 线性地映射到一个整数范围 [q_min, q_max]。
查看全文 >>有符号整数和无符号整数的范围不一样



