基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法技术

本发明专利技术涉及人工智能技术领域，尤其涉及一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法，包括如下步骤：步骤S1：通过全精度网络对BWN模型进行初始化；步骤S2：对已初始化的BWN模型进行微调；步骤S3：对BWN模型进行分层，及将对层数进行分组；步骤S4：按组的相反顺序对BWN模型进行二值化；步骤S5：设置全精度CNN模型，并通过知识转移技术使BWN模型学习全精度CNN模型相似的特征。通过将全精度CNN模型作为教师网络，将BWN模型作为学生网络，让BWN在训练过程中模仿教师网络中间层的响应，通过这种额外的监督提高BWN的收敛性，并有效地避免了常规BWN训练中的精度下降的问题；既不增加模型复杂度也不增加计算成本，而且易于实现。且易于实现。且易于实现。

【技术实现步骤摘要】
基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法


[0001]本专利技术涉及人工智能
，尤其涉及一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法。

技术介绍

[0002]最近基于深度卷积神经网络的目标分类和检测已经达到了非常高的精度，而带来的弊端是模型的体积越来越大，线上性能也越来越差。这种通过大量参数训练的模型，由于它们的高计算的性能需求和非常的存储空间需求，阻碍了将其部署到内存和计算资源有限的系统中。目前，业内在边缘侧会流行部署低精度神经网络来减少计算需求和减少内存占用，但这种低精度模型的在检测精度上往往大打折扣。其中，二进制权重神经网络(BinaryWeight Neural Network, BWN)是将权重的浮点量化为1 位的极端情况，基本上可以最大限度的降低计算需求和内存，但BWN 很难训练，并且会大幅降低精度；同时在计算机视觉领域的实际应用场景下，尤其在车路协同、无人驾驶、智慧交通、区域事件预警等领域，对于算法的实时性要求非常高。同时，这些场景下的算法应用，往往部署于嵌入式系统内，而不是大型高性能服务器中，因此对于算法模型的大小和能效有非常高的要求。
[0003]因此，现有技术存在不足，需要改进。

技术实现思路

[0004]为克服上述的技术问题，本专利技术提供了一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法。
[0005]本专利技术解决技术问题的方案是提供一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法，包括如下步骤：步骤S1：通过全精度网络对BWN模型进行初始化；步骤S2：对已初始化的BWN模型进行微调；步骤S3：对BWN模型进行分层，及将对层数进行分组；步骤S4：按组的相反顺序对BWN模型进行二值化；步骤S5：设置全精度CNN模型，并通过知识转移技术使BWN模型学习全精度CNN模型相似的特征。
[0006]优选地，通过公式：对BWN模型进行二进制化。
[0007]优选地，通过公式：计算BWN模型与全精度CNN模型中间层特征的相似度。
[0008]优选地，BWN模型通过对于对象检测损失及与全精度CNN模型进行特征匹配的L2损失同时向后传播，计算权重的梯度。
[0009]相对于现有技术，本专利技术的基于知识转移技术的边缘侧轻量级深度学习目标分类
及检测方法具有如下优点：通过将全精度CNN模型作为教师网络，将BWN模型作为学生网络，让BWN 在训练过程中模仿教师网络中间层的响应，通过这种额外的监督提高BWN 的收敛性，并有效地避免了常规BWN 训练中的精度下降的问题；既不增加模型复杂度也不增加计算成本，而且易于实现，同时该方法有利于满足嵌入式系统能够实时实现深度学习目标分类与检测；实验结果表明，该方法在将DarkNet
‑
YOLO 的模型大小从257MB 减少到8.8MB，以及MobileNet
‑
YOLO 的模型大小从193MB 减少到7.9MB，并且保持了较高的检测精度，即降低了对内存的需求、还保证了一定的检测精度。
附图说明
[0010]图1是本专利技术的基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法的具体流程结构示意图。
具体实施方式
[0011]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。
[0012]请参阅图1,本专利技术提供一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法，包括如下步骤：步骤S1：通过全精度网络对BWN模型进行初始化；步骤S2：对已初始化的BWN模型进行微调；步骤S3：对BWN模型进行分层，及将对层数进行分组；步骤S4：按组的相反顺序对BWN模型进行二值化；步骤S5：设置全精度CNN模型，并通过知识转移技术使BWN模型学习全精度CNN模型相似的特征。
[0013]本专利技术的方法可以提高训练效率，而且还可以与KT（knowledge transfer）方法相结合。在初始阶段，通过使用全精度网络来初始化具有二进制权重的神经网络的BWN模型，并对已初始化的BWN模型进行微调。
[0014]其中，由于对BWN模型的前几层进行二值化会导致较为明显的精度损失，但对后几层的二值化影响较小。因此，对BWN模型进行分层后再对层数进行分组。由于前几层的二值化会导致精度的明显损失，因此采用按组的相反顺序对BWN模型进行二值化，其中，在前几组的二值化中，只需要1或2个时期即可达到与全精度网络相当的准确性，具有较快的收敛速度。
[0015]进一步地，在前向传播中，通过公式：对BWN模型进行二进制化。同时BWN模型及经过预训练的高精度网络的全精度CNN模型的中间层特征值都可以被计算出来。其中w为滤波器的宽度，h为滤波器的高度，则实值滤波器w∈R的（c
×
w
×
h）次方可以用二进制滤波器B∈{+1，
‑
1}的（c
×
w
×
h）次方和一个比例因子α∈R的+次方，使得W≈αB。因此，卷积近似为，其中I为输入数据，符号*为传统形式的卷积
运算，符号
⊗
表示仅涉及加法及减法的卷积运算。
[0016]具体地，通过公式：计算BWN模型与全精度CNN模型中间层特征的相似度。其中Fti为BWN模型网络的第i层的特征值，Fsi为全精度CNN模型网络的第i层的特征值。
[0017]进一步地，BWN模型网络通过对对象检测损失及与全精度CNN模型进行特征匹配的L2损失同时向后传播，计算权重的梯度。BWN模型网络与全精度CNN模型网络之间的L2损失使得BWN模型网络对全精度CNN模型网络的特征相应进行模仿，使得经过预训练的高精度网络得以将知识传递给BWN模型网络，便于BWN模型朝着较佳的路径进行不断优化相对于现有技术，本专利技术的基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法具有如下优点：通过将全精度CNN模型作为教师网络，将BWN模型作为学生网络，让BWN 在训练过程中模仿教师网络中间层的响应，通过这种额外的监督提高BWN 的收敛性，并有效地避免了常规BWN 训练中的精度下降的问题；既不增加模型复杂度也不增加计算成本，而且易于实现，同时该方法有利于满足嵌入式系统能够实时实现深度学习目标分类与检测；实验结果表明，该方法在将DarkNet
‑
YOLO 的模型大小从257MB 减少到8.8MB，以及MobileNet
‑
YOLO 的模型大小从193MB 减少到7.9MB，并且保持了较高的检测精度，即降低了对内存的需求、还保证了一定的检测精度。
[0018]以上所述仅为本专利技术的较佳实施例，并非因此限制本专利技术的专利范围，凡是在本专利技术的构思之内所作的任何修改，等同替换和改进等均应包含在本专利技术的专利保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识转移技术的边缘侧轻量级深度学习目标分类及检测方法，其特征在于：包括如下步骤：步骤S1：通过全精度网络对BWN模型进行初始化；步骤S2：对已初始化的BWN模型进行微调；步骤S3：对BWN模型进行分层，及将对层数进行分组；步骤S4：按组的相反顺序对BWN模型进行二值化；步骤S5：设置全精度CNN模型，并通过知识转移技术使BWN模型学习全精度CNN模型相似的特征。2.如权利要求1所述的基于知识转移技术的边缘侧轻量级深度...

【专利技术属性】
技术研发人员：刘向华，
申请(专利权)人：名匠智汇建设发展有限公司，
类型：发明
国别省市：