一种神经网络二值量化方法及图像分类方法技术

本发明专利技术公开了一种神经网络二值量化方法及图像分类方法，属于数字图像处理技术领域。本发明专利技术的二值化神经网络通过细节特征惩罚项加强浅层特征对于细节信息的保留能力，并辅以语义信息正则模块，在避免过拟合的同时加强深层特征的高级语义信息的有效性，最终达到增强输入特征图的信息保留的作用，进一步提升量化后网络性能。仿真结果证明，本发明专利技术比现有的基于二值化神经网络的图像分类方法具备更高的准确率，同时可以维持较快的推理速度和较少的内存占用；此外，本发明专利技术的二值化神经网络可清晰地观测到图片对象的主体轮廓，保留了足够的鉴别语义信息，因此在图像分类任务中能更好的识别目标主体，从而进一步确保了图像分类的准确率。确率。确率。

【技术实现步骤摘要】
一种神经网络二值量化方法及图像分类方法


[0001]本专利技术涉及一种神经网络二值量化方法及图像分类方法，属于数字图像处理


技术介绍

[0002]随着科学技术的发展，图像分类技术已经应用到越来越多的领域，神经网络具备强大的运算能力和适应性，可以很好的应用于图像分类技术中。
[0003]传统的神经网络通常是过度参数化的，全精度神经网络的权重与激活参数为32比特，直接把它们应用到图像分类中，即便可以达到很高的分类准确率，但是其应用会占用大量的内存，计算效率也会随着网络参数的增多而下降，而部分多余的神经元并不能提高分类结果的准确性。此外，神经网络的应用于图像分类还受到嵌入式设备计算量有限、时延要求严格、储存空间不足等问题的制约。
[0004]为了解决上述问题，近年来大量研究致力于对模型规模进行压缩，通过剪枝、蒸馏、量化、低秩分解、紧凑型网络设计、参数共享等方式以解决其部署问题。模型量化的主要思想是降低网络权重及激活所需要的比特数来压缩原始网络，与浮点模型相比，量化网络可以产生高度紧凑的模型，提升计算效率、减少内存和存储占用，与此同时还可以减少能耗。然而模型量化面临的核心挑战是如何在降低参数精度的同时控制网络性能损失在可接受范围内，即在压缩率与准确率之间寻找最优平衡点。二值量化方法可以将神经网络的权重与激活参数从32比特量化为1比特，降低神经网络推理过程中的内存访问时间，从而实现推理加速，以提升图像分类方法的效率。
[0005]专利CN113936169A公开了一种基于二值神经网络的图像分类方法及系统，将二值方法运用于图像分类任务中，在二值卷积前插入特征扩增层提升通道数，在减少计算量的同时增加多通道二值卷积的表示能力，充分利用浮点特征图的信息。并在block间添加分通道正负半轴分别独立学习的分段可学习缩放因子，调整网络中传递的浮点特征图，以极少量的浮点计算大幅提高整体网络性能，实现了较好的图像分类效果。但该研究没有注重网络特征的提取，仅对网络结构进行重新设计，并利用缩放因子进行调节，没能较好的利用神经网络中的有效信息，这影响了其分类准确率的进一步提升。
[0006]专利CN114358206A公开了二值神经网络模型训练方法及系统、图像处理方法及系统，将二值量化与知识蒸馏结合，构建在线知识蒸馏增强的二值神经网络训练框架，并利用所述在线蒸馏方法，对所述初始实值神经网络模型、所述初始辅助神经网络模型以及所述初始二值神经网络模型进行训练，获取目标二值神经网络模型。该研究很好的结合了量化与蒸馏的优点，但较多依靠教师学生网络之间的辅助训练提升精度，没有对网络信息进行针对性提取。
[0007]然而在实值网络中，不同层次表达信息不同。浅层特征接近输入层，由于浅层网络感受野较小，其重叠区域也偏小，此种设置可保证网络捕获更多信息，但同时也导致其对图像的特征提取程度相对较弱，仅能提取低级的细节特征。而深层特征针对特定任务产生，接
近网络输出层，感受野数量增加，重叠区域随之增加，对图像信息进行压缩，便于提取图像整体性抽象信息。
[0008]现有的神经网络二值量化方法对于浅层特征图的二值化效果较差，对于深层网络去学习面向任务的高级语义信息是非常困难的；此外，深层网络对于数据的过拟合问题更加明显，导致验证和测试效果较差。部分基于模型压缩的图像分类方法较为关注最终分类结果，而忽视了对网络浅层特征的利用与保留，而较深层特征需基于浅层的特征进行抽象提取。基于此，当浅层的细节信息未被较好保留的情况下，深层的语义信息也较难得到，最终导致图像分类准确率难以提升。此种特质广泛存在于利用二值量化网络的图像分类之中，例如SD
‑
BNN(Xue P,Lu Y,Chang J,et al.Self
‑
distribution binary neural networks[J].Applied Intelligence,2022:1
‑
13.)几乎无法提取任何浅层二值激活特征，进一步导致了分类准确率的下降。
[0009]此外，对于神经网络而言，激活量化对最终性能的影响较之权重量化要更加突出。为了增强特征映射，如果直接使用拟合能力更强的激活函数(例如：Maxout函数)，又非常容易受到过拟和影响，如图2所示，左图为CIRAR
‑
10中随机图像，右图为Adabin方法的ResNet
‑
18网络浅层二值化激活示意图，从图2中可以看到二值化激活完全失去原图中的可判别信息，失去可判别信息，导致图像识别准确率低，在后续进行系列操作也很难再对图片进行正确分类，因此期望通过增强网络的深浅层特征以提高二值网络性能。

技术实现思路

[0010]为了提升基于二值神经网络的图像分类方法的准确率，本专利技术提供了一种神经网络二值量化方法及图像分类方法，所述技术方案如下：
[0011]本专利技术的第一个目的在于提供一种神经网络的二值量化方法，应用于图像分类，包括：
[0012]步骤1：对训练数据集中的图像数据进行预处理；
[0013]步骤2：设置所述神经网络的初始参数和训练参数，通过误差衰减估计器解决网络反向传播时符号函数不可导的问题；
[0014]步骤3：所述神经网络对所述训练数据集中的每个样本图像进行特征提取；
[0015]步骤4：通过第i个样本图像x
i
∈R3×
H
×
W
和样本的最浅层特征计算细节特征惩罚损失；
[0016]步骤5：通过所述神经网络的第一、二、三层的输出和与样本的真实标签y
i
通过语义信息正则模块计算损失；
[0017]步骤6：基于所述步骤4得到的细节特征惩罚损失和所述步骤5得到的语义信息正则损失计算总损失，并按照所述总损失完成对所述神经网络的训练。
[0018]可选的，所述步骤4中计算细节特征惩罚损失的过程包括：
[0019]步骤41：对所述第i个样本图像x
i
进行灰度化处理，得到单通道的灰度图G，其宽和高与x
i
一致；
[0020]步骤42：通过resize操作将尺寸为1
×
H
×
W的灰度图G调整为尺寸为1
×
H0×
W0的G'，并对G'进行L2标准化处理；
[0021]步骤43：降低所述样本的最浅层特征F0的通道维度，得到尺寸为1
×
H0×
W0的F0'，同样进行标准化处理；
[0022]步骤44：计算所述步骤42和步骤43得到的标准化特征的L2距离作为所述细节特征惩罚损失L
dfp
，表达式为：
[0023]L
dfp
＝||normal(G')
‑
normal(F0')||
[0024]其中，normal()表示标准化操作，实际具体计算方式为：新数据＝(原数据
‑
最小值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的二值量化方法，所述神经网络应用于图像分类，其特征在于，所述二值量化方法包括：步骤1：对训练数据集中的图像数据进行预处理；步骤2：设置所述神经网络的初始参数和训练参数，通过误差衰减估计器解决网络反向传播时符号函数不可导的问题；步骤3：所述神经网络对所述训练数据集中的每个样本图像进行特征提取；步骤4：通过第i个样本图像x
i
∈R3×
H
×
W
和样本的最浅层特征计算细节特征惩罚损失；步骤5：通过所述神经网络的第一、二、三层的输出和与样本的真实标签y
i
通过语义信息正则模块计算损失；步骤6：基于所述步骤4得到的细节特征惩罚损失和所述步骤5得到的语义信息正则损失计算总损失，并按照所述总损失完成对所述神经网络的训练。2.根据权利要求1所述的神经网络的二值量化方法，其特征在于，所述步骤4中计算细节特征惩罚损失的过程包括：步骤41：对所述第i个样本图像x
i
进行灰度化处理，得到单通道的灰度图G，其宽和高与x
i
一致；步骤42：通过resize操作将尺寸为1
×
H
×
W的灰度图G调整为尺寸为1
×
H0×
W0的G'，并对G'进行L2标准化处理；步骤43：降低所述样本的最浅层特征F0的通道维度，得到尺寸为1
×
H0×
W0的F0'，同样进行标准化处理；步骤44：计算所述步骤42和步骤43得到的标准化特征的L2距离作为所述细节特征惩罚损失L
dfp
，表达式为：L
dfp
＝||normal(G')
‑
normal(F0')||其中，normal()表示标准化操作，实际具体计算方式为：新数据＝(原数据
‑
最小值)/(最大值
‑
最小值)。3.根据权利要求2所述的神经网络的二值量化方法，其特征在于，所述步骤5包括：步骤51：所述语义信息正则模块的输入为m个中间层的特征图，所述语义信息正则模块针对每一层特征图进行计算，针对第j层特征图F
j
，使用第j+1层至第m层的特征图的语义信息对当前训练的第j层进行监督；步骤52：通过每一层的辅助分类分支对其所对应的特征图计算全连接输出，所述辅助分类分支包括依次连接的：卷积层、全局平均池化层和全连接层，第j层的特征图F
j
通过所述辅助分类分支的计算得到z
j
；步骤53：通过Label Smoo...

【专利技术属性】
技术研发人员：陈莹，刘畅，
申请(专利权)人：江南大学，
类型：发明
国别省市：