深度学习模型的获取方法技术

本申请实施例提供了一种深度学习模型的获取方法

【技术实现步骤摘要】
深度学习模型的获取方法、装置、电子设备及介质


[0001]本申请涉及计算机
，尤其涉及一种深度学习模型的获取方法
、
装置
、
电子设备及介质
。

技术介绍

[0002]双目深度估计是计算机视觉领域中的一个重要问题，它的目标是通过分析两个摄像头
(
或者图像
)
之间的视差信息来估计场景中物体的距离或深度
。
轻量化的难点主要是：计算资源限制：在实际应用中，嵌入式系统计算资源通常有限
。
双目深度估计需要进行大量的计算
。
对于包括双目深度估计模型在内的深度学习模型的轻量化的挑战在于如何在有限的计算资源下实现高效的深度估计算法
。

技术实现思路

[0003]为了解决上述技术问题，本申请实施例提供了一种深度学习模型的获取方法
、
装置
、
电子设备及介质
。
[0004]第一方面，本申请实施例提供了一种深度学习模型的获取方法，所述方法包括：
[0005]获取教师模型和待训练轻量化学生模型；
[0006]设置训练集及最大轮次，所述训练集包括多个训练子集；
[0007]执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度
。
[0008]在一实施方式中，执行对待训练轻量化学生模型的一次剪枝处理和轮次训练，包括：
[0009]在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；
[0010]在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；
[0011]向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练
。
[0012]在一实施方式中，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型
。
[0013]在一实施方式中，所述获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，包括：
[0014]根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；
[0015]根据所述目标稀疏度
、
当前轮次
、
剪枝次数确定目标序号；
[0016]对当前轮次的待训练轻量化学生模型的各卷积核的权重进行排序；
[0017]确定排列序号在所述目标序号之前的目标卷积核，将所述目标卷积核的剪枝系数设置为
0。
[0018]在一实施方式中，所述方法还包括：
[0019]采用动态范围量化对训练好的轻量化学生模型进行量化，得到量化后学生模型
。
[0020]在一实施方式中，执行对量化后学生模型的重复剪枝处理和轮次训练，直至达到所述预设终止条件
。
[0021]在一实施方式中，所述教师模型为双目深度估计教师模型，所述待训练轻量化学生模型为待训练轻量化双目深度估计学生模型，所述训练好的轻量化学生模型为轻量化双目深度估计模型
。
[0022]第二方面，本申请实施例提供了一种深度学习模型的获取装置，所述装置包括：
[0023]获取模块，用于获取教师模型和待训练轻量化学生模型；
[0024]设置模块，用于设置训练集及最大轮次，所述训练集包括多个训练子集；
[0025]执行模块，用于执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度
。
[0026]第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的深度学习模型的获取方法
。
[0027]第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的深度学习模型的获取方法
。
[0028]上述本申请提供的深度学习模型的获取方法
、
装置
、
电子设备及介质，获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度，能够在有限的计算资源下实现高效的深度估计算法，且鲁棒性强
。
附图说明
[0029]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定
。
在各个附图中，类似的构成部分采用类似的编号
。
[0030]图1示出了本申请实施例提供的深度学习模型的获取方法的一流程示意图；
[0031]图2示出了本申请实施例提供的一原理示意图；
[0032]图3示出了本申请实施例提供的一卷积层示意图；
[0033]图4示出了本申请实施例提供的一卷积核的映射关系示意图；
[0047]本申请实施例提供了一种深度学习模型的获取方法
。
[0048]参见图1，深度学习模型的获取方法包括步骤
S101
‑
S103
，下面对给步骤进行说明
。
[0049]步骤
S101
，获取教师模型和待训练轻量化学生模型
。
[0050]参见图2，在算法
1(algorithm 1)
中，采用知识提取训练轻量级神经网络
(train light i weight neural naetwork with knowledge distillation)
，获取获取教师模型
Teacher
θ
t
和待训练轻量化学生模型
Student
θ
s...

【技术保护点】

【技术特征摘要】
1.
一种深度学习模型的获取方法，其特征在于，所述方法包括：获取教师模型和待训练轻量化学生模型；设置训练集及最大轮次，所述训练集包括多个训练子集；执行对待训练轻量化学生模型的重复剪枝处理和轮次训练，直至达到预设终止条件，以得到训练好的轻量化学生模型，所述预设终止条件为以下至少一个：待训练轻量化学生模型的输出结果与真实标签的误差小于预设误差阈值，轮次总数达到所述最大轮次，待训练轻量化学生模型的稀疏度到达目标稀疏度
。2.
根据权利要求1所述的方法，其特征在于，执行对待训练轻量化学生模型的一次剪枝处理和轮次训练，包括：在每一次剪枝处理中，获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，根据各卷积核的剪枝系数对当前轮次的待训练轻量化学生模型进行剪枝处理，得到当前轮次的剪枝后轻量化学生模型；在每一轮次训练中，向所述教师模型输入对应的训练子集，通过所述教师模型输出第一输出结果，根据所述第一输出结果和超参数确定对应轮次的训练目标；向剪枝后轻量化学生模型输入对应的训练子集，以所述训练目标对所述剪枝后轻量化学生模型进行训练
。3.
根据权利要求2所述的方法，其特征在于，剪枝后轻量化学生模型的训练子集的数据量随着轮次增加而增加，当前轮次的待训练轻量化学生模型为上一轮次的训练后轻量化学生模型
。4.
根据权利要求2所述的方法，其特征在于，所述获取当前轮次的待训练轻量化学生模型的各卷积核的剪枝系数，包括：根据当前轮次的待训练轻量化学生模型的各卷积核的核值，确定当前轮次的待训练轻量化学生模型的各卷积核的权重；根据所述目标稀疏度
、
当前轮次
、
剪枝次数确定目标序号；对当前轮次的待训练轻量化学生模型的各...

【专利技术属性】
技术研发人员：潘柏宇，董培，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：