二值神经网络模型训练方法及系统、图像处理方法及系统技术方案

本发明专利技术公开了二值神经网络模型训练方法及系统、图像处理方法及系统，属于人工智能技术领域，其中训练方法具体包括：构建在线知识蒸馏增强的二值神经网络训练框架，其中在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型以及初始辅助神经网络模型，学生网络为初始二值神经网络模型；对这三个网络模型使用在线蒸馏方法进行训练，从而提升二值神经网络的性能，同时，利用本发明专利技术二值神经网络模型对待处理图像进行图像分类处理，从而提高了图像分类的准确性。从而提高了图像分类的准确性。从而提高了图像分类的准确性。

【技术实现步骤摘要】
二值神经网络模型训练方法及系统、图像处理方法及系统


[0001]本专利技术涉及人工智能
，更具体的说是涉及二值神经网络模型训练方法及系统、图像处理方法及系统。

技术介绍

[0002]深度神经网络在计算机视觉任务，如图像分类和目标检测上，取得了巨大的成功，然而深度神经网络模型通常有数百万个参数，需要消耗大量的内存和运算资源来解决复杂的计算问题。在实际中，因为计算资源的限制，将深度神经网络部署在嵌入式平台和移动设备上会遇到许多挑战。为了解决这个限制，许多方法通过压缩网络结构来减少内存使用和计算开销。
[0003]在现有技术中，二值神经网络通过将浮点输入和网络权重转化为二值形式来压缩深度神经网络。为了减少二值神经网络和实值神经网络之间的性能差距，一些经典的网络结构被提出，如：XNOR
‑
Net网络，其利用对应的二值化参数和比例因子来重建全精度的权重和激活值，以此提高二值神经网络的性能；ABC
‑
Net，运用多个二进制基的线性组合来近似全精度的权重和激活值。
[0004]但是，上述提到的二值神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二值神经网络模型的训练方法，其特征在于，所述训练方法包括：S100：构建在线知识蒸馏增强的二值神经网络训练框架，其中，所述在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ
R
以及初始辅助神经网络模型Θ
A
，学生网络为初始二值神经网络模型Θ
B
；S200：利用所述在线蒸馏方法，对所述初始实值神经网络模型Θ
R
、所述初始辅助神经网络模型Θ
A
以及所述初始二值神经网络模型Θ
B
进行j次训练，得到实值神经网络模型Θ
Rj
、辅助神经网络模型Θ
Aj
以及二值神经网络模型Θ
Bj
；S300：获取待训练数据集，将所述待训练数据集输入至所述实值神经网络模型Θ
Rj
、所述辅助神经网络模型Θ
Aj
以及所述二值神经网络模型Θ
Bj
中，得到数据集中图片的类别预测值以及数据集类别标签；S400：基于数据集中图片的类别预测值以及数据集类别标签，计算得到目标损失函数值，并根据所述目标损失函数值进行参数更新，得到更新后的实值神经网络Θ
Rj+1
、辅助神经网络Θ
Aj+1
以及二值神经网络Θ
Bj+1
；S500:当满足预设训练条件时，将所述二值神经网络Θ
Bj+1
作为目标二值神经网络模型。2.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S100包括初始二值神经网络模型Θ
B
的构建，具体过程包括：获取初始实值神经网络模型Θ
R
，对初始实值神经网络模型Θ
R
进行二值化得到二值神经网络的激活值以及权重以及权重以及权重其中，sign(.)是符号函数，A
b
为激活值，W
b
为实值权重；根据激活值以及权重构建得到初始二值神经网络模型Θ
B
。3.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S100还包括对初始辅助神经网络模型Θ
A
的构建：得到初始辅助神经网络Θ
A
的软化激活值Forward：Backward：其中，为软化激活值，为辅助神经网络的损失函数，Soft(
·
)是分段函数，A
S
为全精度激活值；得到初始辅助神经网络Θ
A
的软化权重Forward：Backward：
其中，为软化权重值，为辅助神经网络的损失函数，Soft(
·
)是分段函数，W
S
为实值权重；根据软化激活值以及软化权重构建得到初始辅助神经网络模型Θ
A
。4.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S400包括：S410：基于图像的类别预测值以及图像类别标签，计算得到目标损失函数值：L
ΘB
＝L
ce
(y，P
B
)+L
m
(Θ
B
)；L
ΘA
＝L
ce
(y，P
A
)+L
m
(Θ
A
)；L
ΘR
＝L
ce
(y，P
R
)+L
m
(Θ
R
)；其中，y是图像类别标签，P
B
是初始二值神经网络模型Θ
B
对输入图片的类别预测值，P
A
是初始辅助神经网络模型Θ
A
对输入图片的类别预测值，P
R
是初始实值神经网络模型Θ
R
对输入图片的类别预测值；是初始二值神经网络模型Θ
B
的整体损失函数，是初始辅助神经网络模型Θ
A
的整体损失函数，是初始实值神经网络模型Θ
R
的整体损失函数；S420：根据目标损失函数值进行j+1次训练，并进行参数更新，得到更新后的实值神经网络模型Θ
Rj+1
、辅助神经网络模型Θ
Aj+1
以及二值神经网络模型Θ
Bj+1
。5.根据权利要求4所述的一种二值神经网络模型的训练方法，其特征在于，所述目标损失函数值包括模拟损失项L
m
(
·
)，所述模拟损失项L
m
(
·
)由两个模拟损失子项L
m
(.，.)组成，其计算公式为：L
m
(Θ
B
)＝α
...

【专利技术属性】
技术研发人员：王杨，钱彪，刘海鹏，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：