该论文发表于2025年IEEE/CVF计算机视觉与模式识别会议（CVPR），题目为《Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression》。

美国里海大学的Xiaoyi Qu为此文第一作者，微软公司的Tianyi Chen为此文的通讯作者。

论文链接：https://openaccess.thecvf.com/content/CVPR2025/html/Qu_Automatic_Joint_Structured_Pruning_and_Quantization_for_Efficient_Neural_Network_CVPR_2025_paper.html

引言

结构化剪枝与量化分别通过删除冗余网络结构和降低数值表示位宽来压缩模型。两者存在明显耦合：某一层被剪除的结构越多，剩余结构承担的信息越集中，对量化误差也可能越敏感。因此，先剪枝再量化虽然便于实施，却难以同时获得理想的网络结构与精度配置。本文提出GETA框架，将量化感知依赖图（QADG）与量化感知结构化稀疏优化器（QASSO）结合，在统一训练流程中自动完成结构化剪枝和混合精度量化感知训练。QADG负责确定可以安全联合删除的参数组，QASSO则在显式稀疏约束和位宽约束下协调两种压缩操作。实验覆盖CNN、BERT、视觉Transformer和Phi2，表明该方法能够在较好保留任务性能的同时显著降低理论位运算量。

研究背景

深度神经网络规模的增长带来了存储空间、计算成本和推理时延等问题，限制了模型在普通计算设备与资源受限终端上的部署。结构化剪枝直接删除通道、神经元等具有规则形状的冗余结构，有利于形成可由常规计算库执行的紧凑网络；量化则将权重或激活从高精度表示转换为低位宽表示，进一步减少计算与存储开销。将二者结合具有互补性，但联合压缩的关键并非简单叠加两种技术，而是处理结构删除与表示误差之间的相互影响。

已有联合方法主要面临三类障碍。首先，配置搜索、模型压缩与重新训练通常相互分离，形成复杂的多阶段工程流程；其次，依赖正则化系数平衡精度、稀疏程度和位宽的方案，难以在训练前直接控制最终压缩目标，往往需要反复调参；最后，不少方法主要围绕CNN逐层通道剪枝设计，难以处理Transformer中的跨层依赖和多头注意力结构。即使已有依赖图方法能够自动分析普通网络，加入量化算子后出现的共享权重与形状变换，也会破坏原有分析的适用条件。

针对这些问题，本文将研究目标分解为两个相互衔接的问题：先解决量化感知网络中“哪些结构可以一起删除”，再解决给定位宽与稀疏目标时“如何训练才能减轻联合压缩造成的性能损失”。这一思路使架构兼容性与优化可控性分别获得明确的技术支撑，也构成GETA区别于单纯压缩配置搜索方法的主要特点。

研究方法

GETA首先加入可学习的参数化量化层，再通过量化感知依赖图确定可剪结构，最后利用量化感知结构化稀疏优化器QASSO完成联合训练。整体流程如图1所示，其核心方法包括依赖图构建、位宽控制与联合优化三个方面。

图1 GETA整体流程

（1）构建量化感知依赖图确定可剪结构

结构化剪枝需要同步处理相关层与分支，才能保证删除结构后网络仍可正常运行。加入量化层后，权重量化形成附加分支，激活量化形成插入分支，其中的共享权重与形状变换会干扰普通依赖图分析。

图2 权重与激活量化分支的依赖图处理

如图2所示，QADG先识别并合并量化分支，处理共享权重和形状歧义，再分析网络依赖，生成可以联合删除的参数组。该设计减少了针对不同网络单独编写剪枝规则的工作，为CNN与Transformer的统一压缩提供了基础。

（2）通过PPSG控制位宽并稳定训练

GETA用最大映射幅值qₘ、映射指数t和量化步长d描述量化过程，三者共同决定位宽b，关系见原文公式（3）。这些参数可随训练调整，使不同层获得适合的表示精度。

PPSG先更新量化参数，再依据当前qₘ和t求出满足位宽约束的d的区间，仅将d投影回该区间。QASSO同时逐步收紧位宽上界，使网络逐渐适应低精度表示。该方法将复杂的联合约束转化为单变量区间投影，在显式控制位宽的同时减轻突然降低精度带来的训练扰动。

（3）通过量化感知遗忘机制联合剪枝与量化

联合阶段根据显著性评分划分重要参数组与冗余参数组。重要组采用常规梯度更新；冗余组额外减去由遗忘率γ控制的量化权重项，逐步删除对应结构，两类更新分别见原文公式（5）和（6）。

遗忘项使用量化后的权重，使剪枝过程能够考虑前向计算中的量化误差；同时依据梯度与量化相关项的方向关系调整γ和d，缓解结构删除与精度降低之间的冲突。整个训练依次经历预热、投影、联合优化和冷却四个阶段，在统一流程内完成压缩与性能恢复。

实验结果

为验证方法有效性，以下选取三组代表性实验。任务性能采用准确率、精确匹配率EM与F1评价，计算开销采用相对BOPs评价。BOPs表示理论位运算量，其下降比例不能直接等同于真实设备上的推理加速比例。

（1）ResNet50实验验证大规模图像分类中的压缩效果

表1 ResNet50在ImageNet上的比较

如表1所示，在50%结构稀疏率下，GETA准确率为74.40%，相对BOPs降至5.38%。与完整模型相比，准确率下降1.73个百分点，理论位运算量减少94.62%；与Clip-Q相比，准确率提高0.70个百分点，且相对BOPs更低。40%稀疏配置则获得75.10%的更高准确率，但计算开销也更高，体现了精度与压缩程度之间的权衡。

（2）BERT实验验证联合训练相对顺序压缩的优势

BERT在SQuAD上的实验，将GETA与结构化剪枝后接8位训练后量化（PTQ）的顺序方案比较，结果见表2。

表2 BERT在SQuAD上的比较

在50%稀疏率下，GETA的EM与F1分别为76.74%和85.87%，较顺序方案提高4.03和2.57个百分点，相对BOPs由16.7%降至14.4%。其他稀疏率下也呈现相同方向的改进，表明联合训练有助于减轻压缩造成的性能损失。不过，该比较同时包含QAT与PTQ的差异，尚不能单独量化联合更新规则的贡献。

（3）视觉Transformer实验验证跨架构适用性

表3 多种视觉Transformer的结果

GETA在SimpleViT、ViT-Small、DeiT-Tiny、Swin-Tiny和PVTv2-B2上均获得有效压缩。其中，SimpleViT准确率仅下降0.42个百分点，相对BOPs为4.95%；ImageNet上的Swin-Tiny准确率下降0.83个百分点，相对BOPs为21.84%。这些结果支持框架对多种已测试Transformer架构的适用性，同时说明不同架构对压缩的敏感程度有所差异。

结论

本文针对联合结构化剪枝与量化中工程流程复杂、压缩目标难以显式控制以及架构适用性受限的问题，提出GETA自动压缩框架。QADG将量化产生的复杂分支转化为可分析的结构依赖，QASSO通过PPSG和量化感知遗忘规则，在统一训练流程中协调位宽与结构稀疏目标。CNN、BERT、视觉Transformer和Phi2的实验表明，该框架在多种已测试模型上获得了有竞争力的精度与理论计算开销折中。

——END——

撰稿人：周健波

审稿人：梁艳

脑机接口与混合智能研究团队