量化的目的

1. 减少存储需求：
• 浮点数（FP32）占用的存储空间较大，量化后使用低位整数（如 Int4、Int8）可以显著降低模型的内存占用。

2. 加速推理速度：
• 整数运算速度通常比浮点数运算快，尤其是在专门支持低精度计算的硬件（如 NVIDIA TensorRT、TPU、Apple Neural Engine 等）上，量化模型可以显著加速推理。

3. 降低能耗：
• 在移动设备或其他边缘设备上运行大模型时，量化可以减少计算资源需求，从而降低功耗。

4. 保持模型性能：
• 虽然量化会降低模型的精度，但通过先进的量化技术（如对权重和激活值的优化），可以做到性能几乎无损。

量化的常见方式

• 在模型训练完成后，对模型进行量化处理。

• 优点：实现简单，适合不需要重新训练的场景。

• 缺点：可能会引入一定的精度损失。

• 在训练阶段引入量化模拟，模型在训练时已经适应了低精度运算。

• 优点：量化后精度下降更小。

• 缺点：需要重新训练模型，增加了训练成本。

• 在推理过程中，动态地将激活值量化为低精度整数。

• 适合对激活值变化较大的模型。

• 在推理前，将权重和激活值都提前量化。

• 需要对数据进行校准（Calibration），以找到最佳的量化范围。

量化精度类型

1. FP32（32位浮点数）：
• 默认的高精度表示方式，用于保存原始模型的权重和激活值。
• 存储和计算成本高。

2. FP16（16位浮点数）：
• 浮点精度的降低版本，依然保留浮点特性，同时减少了存储需求和计算成本。
• 在现代硬件（如 NVIDIA GPU 的 Tensor Cores）上支持较好。

3. Int8（8位整数）：
• 将浮点权重和激活值映射为 8 位整数。
• 是目前最常用的量化方法，能很好地平衡性能与精度。

4. Int4（4位整数）：
• 精度进一步降低，存储需求比 Int8 减半。
• 常用于极致优化的场景，虽然精度损失稍大，但在先进算法（如 AutoGPTQ）的支持下，精度损失可以控制在极小范围内。

5. 二值量化（Binary Quantization）：
• 权重和激活值仅用 0 和 1 表示。
• 极大地减少了存储需求，但适用场景较为有限。

README.md · Qwen/Qwen-1_8B-Chat at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

https://huggingface.co/Qwen/Qwen-1_8B-Chat/blob/main/README.md

关于 AutoGPTQ

Int4 量化的优点

1. 存储需求更低：
• Int4 量化将权重压缩为 4 位整数，存储需求比 FP32 减少约 8 倍，比 Int8 减少一半。

2. 推理速度更快：
• Int4 运算的计算复杂度更低，尤其是在支持低位整数运算的硬件上，速度提升显著。

3. 几乎无损的模型效果：
• AutoGPTQ 等工具通过先进的量化校准技术，确保量化后的模型在推理任务中的表现与原始模型几乎一致。

如何使用 Int4 量化模型

1. 环境要求

• PyTorch 2.0 及以上版本。

• Transformers 4.32.0 及以上版本。

• 安装 AutoGPTQ 库（可以通过 pip install autogptq）。

2. 加载 Int4 模型

总结