一种基于FPGA的结构等效卷积的量化节点融合方法技术

一种基于FPGA的结构等效卷积的量化节点融合方法，涉及深度学习模型压缩与硬件加速技术领域，其主要步骤为在模型训练阶段，在融合支路插入等效卷积层，等效卷积参数初始化为单位矩阵且禁止其进行梯度更新后进行训练，在模型量化阶段，在网络输入层插入量化节点，网络输出层插入反量化节点，进行动态范围联合校准、进行量化参数计算与量化参数对齐、进行整数域特征融合，最后计算相应的量化后的权重并输出。本发明专利技术通过引入支路等效变换层与量化域参数绑定操作，能够有效避免在硬件上的二次量化过程需要的除法操作，同时保持较高的量化精度，提高模型的部署效率。

【技术实现步骤摘要】

本专利技术涉及深度学习模型压缩与硬件加速，尤其涉及一种基于fpga的结构等效卷积的量化节点融合方法。

技术介绍

1、随着卷积神经网络在目标检测领域的广泛应用，模型轻量化与硬件部署效率的矛盾日益凸显。基于fpga的定点量化部署方案因其高能效比的优势，成为边缘计算场景下的重要选择。然而，目标检测模型特有的多尺度特征融合结构(如图1所示)给量化部署带来了严峻挑战。现有技术主要存在以下缺陷：

2、1.动态量化参数冲突：现有量化框架，如pytorch_quantization等在处理特征融合层过程中，当add/concatenate操作接收两路量化输入时，由于量化参数的动态调整，至少存在一个支路的激活值分布超出预期量化范围，迫使模型在硬件部署阶段需要执行显式的反量化-再量化操作(如图2所示)。这种二次量化机制会在硬件层面会引入额外的除法单元，产生硬件资源的消耗，同时还会增加额外的复杂控制逻辑。

3、2.参数强制对齐失效：现有研究常采用量化参数强制对齐的妥协性方案来处理特征融合层，即约束多分支输入的scale和zero_point完全一致以规避本文档来自技高网...

【技术保护点】

1.一种基于FPGA的结构等效卷积的量化节点融合方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的一种基于FPGA的结构等效卷积的量化节点融合方法，其特征在于，步骤S1中，所述深度学习模型包括目标检测模型、图像分类模型。

3.根据权利要求1所述的一种基于FPGA的结构等效卷积的量化节点融合方法，其特征在于，步骤S3中所述插入等效卷积层具体为：

4.根据权利要求1所述的一种基于FPGA的结构等效卷积的量化节点融合方法，其特征在于：步骤S7中所述校准数据集为训练数据的子集。

5.根据权利要求1所述的一种基于FPGA的结构等效卷积的量化节...

【技术特征摘要】

1.一种基于fpga的结构等效卷积的量化节点融合方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的一种基于fpga的结构等效卷积的量化节点融合方法，其特征在于，步骤s1中，所述深度学习模型包括目标检测模型、图像分类模型。

3.根据权利要求1所述的一种基于fpga的结构等效卷积的量化节点融合方法，其特征在于，步骤s3中所述插入等效卷积层具体为：

4.根据权利要求1所述的一种基于fpga的结构等效卷积的量化节点融合方法，其特征在于：步骤s7中所述校准数据集为训练数据的子集。

5.根据权利要求1所述的一种基于fpga的结构等效卷积的量化节点融合方法，其特征在于，步骤s10具体为：对权重进行逐通道量化，对激活值进行逐层量化。

6.根据权利要求1所述的一种基于fpga...

【专利技术属性】
技术研发人员：田程，李正杰，赵明，陈功富，罗文斌，
申请(专利权)人：成都华微电子科技股份有限公司，
类型：发明
国别省市：