知识蒸馏和图像处理方法、装置、电子设备和存储介质制造方法及图纸

本申请提出一种知识蒸馏和图像处理方法、装置、电子设备和存储介质。其中，上述方法可以包括，分别利用学生模型与教师模型对图像数据集进行图像处理得到第一输出特征与第二输出特征，确定上述第一输出特征包括的各通道的特征图与上述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数之间的对应关系。对上述学生模型进行训练。其中，在每一轮训练中，利用确定的上述对应关系对上述学生模型与上述教师模型的输出特征进行特征对齐操作，并根据特征对齐后的输出特征进行知识蒸馏。馏。馏。

【技术实现步骤摘要】
知识蒸馏和图像处理方法、装置、电子设备和存储介质


[0001]本申请涉及计算机技术，具体涉及知识蒸馏和图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，神经网络模型得到了迅速的发展。例如，在图像处理任务中，可以利用诸如RCNN(Region Convolutional Neural Networks，区域卷积神经网络)，FAST
‑
RCNN(Fast Region Convolutional Neural Networks，快速区域卷积神经网络)等深度卷积神经网络模型，实现诸如图像分类、物体检测、语义分割等操作。
[0003]然而，随着任务越来越复杂，对处理结果的要求越来越高，神经网络模型的结构会变的越来越复杂，占用空间也越来越大。这将可能占用很大计算资源和存储空间，甚至导致神经网络模型无法利用在类似手机这样的设备中。
[0004]由此，需要一种模型压缩方法，可以使结构简单的学生模型向结构复杂的教师模型进行学习，让学生模型的结果尽可能接近教师模型，从而完成模型压缩。

技术实现思路

[0005]有鉴于此，本申请至少公开一种知识蒸馏方法，上述方法包括：
[0006]分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征；
[0007]基于上述第一输出特征与上述第二输出特征，确定上述第一输出特征包括的各通道的特征图与上述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数之间的对应关系；
[0008]对上述学生模型进行训练；其中，在每一轮训练中，分别利用上述学生模型与上述教师模型，对输入的样本图像进行图像处理，得到第三输出特征与第四输出特征；确定上述第三输出特征与上述样本图像对应的真实特征之间的误差；利用确定的上述对应关系进行特征对齐操作以使上述第三输出特征包括的各通道的特征图与上述第四输出特征包括的各通道的特征图中，处于相同通道数的特征图之间匹配；进一步确定特征对齐后的上述第三输出特征与上述第四输出特征之间的差距；基于上述误差与上述差距更新上述学生模型的模型参数。
[0009]本申请还公开一种图像处理方法，上述方法包括：
[0010]获取目标图像；
[0011]利用图像处理模型对上述目标图像进行图像处理，得到图像处理结果；
[0012]其中，上述图像处理模型包括根据前述任一实施例示出的知识蒸馏方法训练得到的模型。
[0013]本申请还公开一种知识蒸馏装置，上述装置包括：
[0014]图像处理模块，用于分别利用学生模型与教师模型，对图像数据集进行图像处理，
得到第一输出特征与第二输出特征；
[0015]对应关系确定模块，用于基于上述第一输出特征与上述第二输出特征，确定上述第一输出特征包括的各通道的特征图与上述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数之间的对应关系；
[0016]训练模块，用于对上述学生模型进行训练；其中，在每一轮训练中，分别利用上述学生模型与上述教师模型，对输入的样本图像进行图像处理，得到第三输出特征与第四输出特征；确定上述第三输出特征与上述样本图像对应的真实特征之间的误差；利用确定的上述对应关系进行特征对齐操作以使上述第三输出特征包括的各通道的特征图与上述第四输出特征包括的各通道的特征图中，处于相同通道数的特征图之间匹配；进一步确定特征对齐后的上述第三输出特征与上述第四输出特征之间的差距；基于上述误差与上述差距更新上述学生模型的模型参数。
[0017]本申请还公开一种图像处理装置，上述装置包括：
[0018]获取模块，用于获取目标图像；
[0019]图像处理模块，用于利用图像处理模型对上述目标图像进行图像处理，得到图像处理结果；
[0020]其中，上述图像处理模型包括根据前述任一实施例示出的知识蒸馏方法训练得到的模型。
[0021]本申请还公开一种电子设备，上述设备包括：
[0022]处理器；
[0023]用于存储上述处理器可执行指令的存储器；
[0024]其中，上述处理器被配置为调用上述存储器中存储的可执行指令，实现前述知识蒸馏方法或图像处理方法。
[0025]本申请还公开一种计算机可读存储介质，上述存储介质存储有计算机程序，上述计算机程序用于执行前述知识蒸馏方法或图像处理方法。
[0026]在本申请中，由于在确定学生模型与教师模型输出特征之间的差距时，先进行了特征对齐操作，以使上述学生模型的输出特征包括的各通道的特征图与上述教师模型的输出特征包括的各通道的特征图中，处于相同通道数的特征图之间相互匹配，因此可以使得处于相同通道数的特征图具有相同或相似的解释含义。从而，在确定上述差距时，可以减少由于特征图不匹配带来的误差，使得确定的上述差距更加真实精确，进而减小了模型收敛的难度，使得学生模型的输出特征容易接近教师模型的输出特征，提升了模型训练的效率。
[0027]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0028]为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本申请示出的一种模型训练方法的流程示意图；
[0030]图2为本申请示出的一种模型训练方法的方法流程图；
[0031]图3为本申请示出的一种模型训练的流程示意图；
[0032]图4为本申请示出的一种转换矩阵示意图；
[0033]图5为本申请示出的一种特征对齐方法的流程示意图；
[0034]图6为本申请示出的一种知识蒸馏装置的结构示意图；
[0035]图7为本申请示出的一种电子设备的硬件结构示意图。
具体实施方式
[0036]下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。
[0037]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
...

【技术保护点】

【技术特征摘要】
1.一种知识蒸馏方法，其特征在于，所述方法包括：分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征；基于所述第一输出特征与所述第二输出特征，确定所述第一输出特征包括的各通道的特征图与所述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数之间的对应关系；对所述学生模型进行训练；其中，在每一轮训练中，分别利用所述学生模型与所述教师模型，对输入的样本图像进行图像处理，得到第三输出特征与第四输出特征；确定所述第三输出特征与所述样本图像对应的真实特征之间的误差；利用确定的所述对应关系进行特征对齐操作以使所述第三输出特征包括的各通道的特征图与所述第四输出特征包括的各通道的特征图中，处于相同通道数的特征图之间匹配；进一步确定特征对齐后的所述第三输出特征与所述第四输出特征之间的差距；基于所述误差与所述差距更新所述学生模型的模型参数。2.根据权利要求1所述的方法，其特征在于，所述分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征，包括：利用学生模型，对所述图像数据集中的样本图像进行图像处理，得到与所述样本图像分别对应的输出特征；将与所述样本图像分别对应的输出特征中处于相同位置的像素值进行加权求和，得到所述第一输出特征；利用教师模型，对所述样本图像进行图像处理，得到与所述样本图像分别对应的输出特征；将与所述样本图像分别对应的输出特征中处于相同位置的像素值进行加权求和，得到所述第二输出特征。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一输出特征与所述第二输出特征，确定所述第一输出特征包括的各通道的特征图与所述第二输出特征包括的各通道的特征图之间匹配的特征图对所处的通道数的对应关系，包括：利用二分图匹配算法或贪心匹配算法，确定所述对应关系。4.根据权利要求3所述的方法，其特征在于，利用贪心匹配算法，确定所述对应关系，包括：依次将所述第一输出特征包括的各通道的特征图分别作为当前特征图，并执行：确定所述第二输出特征包括的各通道的特征图中，与所述当前特征图匹配的特征图；记录所述当前特征图所处的通道数与所述匹配的特征图所处的通道数之间的子对应关系；当针对所述第一输出特征的各通道的特征图完成所述匹配后，基于记录的所述子对应关系，确定所述对应关系。5.根据权利要求3所述的方法，其特征在于，利用二分图匹配算法，确定所述对应关系，包括：依次将所述第一输出特征包括的各通道的特征图分别作为当前特征图，并执行：根据已维护的对应关系，删除所述第二输出特征包括的各通道的特征图中，已经确定的与所述第一输出特征包括的特征图匹配的特征图；确定所述第二输出特征中剩余的各通道的特征
图中，与所述当前特征图匹配的特征图；记录所述当前特征图所处的通道数与所述匹配的特征图所处的通道数之间的子对应关系；当针对所述第一输出特征的各通道的特征图完成所述匹配后，基于记录的所述子对应关系，确定所述对应关系。6.根据权利要求1
‑
5任一所述的方法，其特征在于，所述方法还包括：在分别利用学生模型与教师模型，对图像数据集进行图像处理，得到第一输出特征与第二输出特征之前，通过训练样本集对所述学生模型与所述教师模型进行预训练；所述方法还包括：在对所述学生模型进行所述预训练之前，记录所述学生模型对应的初始化参数；所述对所述学生模型进行训练，包括：利用记录的所述初始化参数，对所述学生模型进行初始化操作；对初始化后的所述学生模型进行训练。7.根据权利要求1
‑
6任一所述的方法，其特征在于，所述方法还包括：基于确定的所述对应关系，生成转换矩阵；其中，所述转换矩阵用于表征所述第二输出特征包括的各通道的特征图中，与所述第一输出特征包括的各通道的特征图对应的特征图所处的通道数，或者，所述第一输出特征包括的各通道的特征图中，与所述第二输出特征包括的各通道的特征图对应的特征图所处的通道数。8.根据权利要求7所述的方法，其特征在于，所述利用确定的所述对应关系进行特征对齐操作以使所述第三输出特征包括的各通道的特征图与所述第四输出特征包括的各通道的特征图中，处于相同通道...

【专利技术属性】
技术研发人员：高梦雅，王宇杰，李全全，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：