图像处理方法、存储介质及电子设备技术

本发明专利技术公开了一种图像处理方法、存储介质及电子设备。其中，该方法包括：获取待识别图像，其中，待识别图像中的显示内容包括：检测目标；采用第一目标检测器对待识别图像进行分析，得到检测目标的第一分析结果，其中，第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，差异信息为第一目标检测器与第二目标检测器之间的特征分布差异。本发明专利技术解决了相关技术中基于特征逼近的知识蒸馏无法适用于密集预测任务且神经网络模型性能提升受限的技术问题。上述方法可以应用于图像检测任务、图像分割任务、深度估计任务等密集预测任务中。务中。务中。

【技术实现步骤摘要】
图像处理方法、存储介质及电子设备


[0001]本专利技术涉及计算机
，具体而言，涉及一种图像处理方法、存储介质及电子设备。

技术介绍

[0002]目前，各个领域纷纷利用神经网络模型对图像进行处理。为了提升神经网络模型的性能，通常采用知识蒸馏方法对神经网络模型进行压缩。
[0003]相关技术中，常见地采用基于特征逼近的知识蒸馏方法压缩神经网络模型并提升神经网络模型的性能。然而，这种方法较适用于特征维度低的分类任务的模型，无法适用于特征维度较高的图像目标检测、图像分割等密集预测任务的模型。这是因为密集预测任务的特征图的不同维度之间的相关性对任务十分重要，仅通过特征逼近无法在知识蒸馏中将教师网络的信息迁移至学生网络中，也即无法有效地压缩神经网络模型，导致神经网络模型的性能提升效果十分有限。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种图像处理方法、存储介质及电子设备，以至少解决相关技术中基于特征逼近的知识蒸馏无法适用于密集预测任务且神经网络模型性能提升受限的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取待识别图像，其中，待识别图像中的显示内容包括：检测目标；采用第一目标检测器对待识别图像进行分析，得到检测目标的第一分析结果，其中，第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，差异信息为第一目标检测器与第二目标检测器之间的特征分布差异。
[0007]根据本专利技术实施例的另一方面，还提供了一种图像处理方法，包括：接收来自于客户端的待识别图像，其中，待识别图像中的显示内容包括：检测目标；采用第一目标检测器对待识别图像进行分析，得到检测目标的第一分析结果，其中，第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，差异信息为第一目标检测器与第二目标检测器之间的特征分布差异；将第一分析结果反馈至客户端。
[0008]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行任意一项上述的图像处理方法。
[0009]根据本专利技术实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行任意一项上述的图像处理方法。
[0010]根据本专利技术实施例的另一方面，还提供了一种图像处理系统，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取待识别
图像，其中，待识别图像中的显示内容包括：检测目标；采用第一目标检测器对待识别图像进行分析，得到检测目标的第一分析结果，其中，第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，差异信息为第一目标检测器与第二目标检测器之间的特征分布差异。
[0011]在本专利技术实施例中，获取待识别图像，其中，待识别图像中的显示内容包括：检测目标，采用第一目标检测器对待识别图像进行分析，得到检测目标的第一分析结果，其中，第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，差异信息为第一目标检测器与第二目标检测器之间的特征分布差异，达到了基于知识蒸馏方法，利用两个检测器之间的特征分布差异对待识别图像进行分析的目的，从而实现了提升知识蒸馏中学生网络的图像处理性能的技术效果，进而解决了相关技术中基于特征逼近的知识蒸馏无法适用于密集预测任务且神经网络模型性能提升受限的技术问题。
附图说明
[0012]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0013]图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图；
[0014]图2是根据本专利技术实施例的一种图像处理方法的流程图；
[0015]图3是根据本专利技术实施例的一种可选的目标检测器训练过程的示意图；
[0016]图4是根据本专利技术实施例的一种可选的知识蒸馏过程的示意图；
[0017]图5是根据本专利技术实施例的另一种可选的知识蒸馏过程的示意图；
[0018]图6是根据本专利技术实施例的又一种可选的知识蒸馏过程的示意图；
[0019]图7是根据本专利技术实施例的又一种可选的知识蒸馏过程的示意图；
[0020]图8是根据本专利技术实施例的另一种图像处理方法的流程图；
[0021]图9是根据本专利技术实施例的一种在云端服务器进行图像处理的示意图；
[0022]图10是根据本专利技术实施例的一种图像处理装置的结构示意图；
[0023]图11是根据本专利技术实施例的一种可选的图像处理装置的结构示意图；
[0024]图12是根据本专利技术实施例的另一种计算机终端的结构框图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆
盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]首先，在对本专利技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
[0028]知识蒸馏：是一种压缩神经网络模型并使其适用于功能较弱的硬件的方法。知识蒸馏并没有直接对神经网络模型进行简化，而是使用已训练的较大的模型(也即教师模型)来训练一个更小的模型(也即学生模型)。教师模型可以在未标注的数据上提供预测，学生模型可以模仿教师模型并学习如何进行归纳。
[0029]实施例1
[0030]根据本专利技术实施例，还提供了一种图像处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0031]本专利技术实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待识别图像，其中，所述待识别图像中的显示内容包括：检测目标；采用第一目标检测器对所述待识别图像进行分析，得到所述检测目标的第一分析结果，其中，所述第一目标检测器由第二目标检测器基于差异信息进行知识蒸馏得到，所述差异信息为所述第一目标检测器与所述第二目标检测器之间的特征分布差异。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：基于样本图像和目标模仿策略对第一初始检测器进行训练，得到第一特征图，以及采用所述样本图像和所述目标模仿策略对第二初始检测器进行训练，得到第二特征图和所述样本图像对应的第二分析结果；利用所述第一特征图、所述第二特征图、所述第二分析结果、所述样本图像对应的真实分析结果以及特征图生成器的网络参数，确定目标损失，其中，所述特征图生成器用于生成所述第一特征图；通过所述目标损失对第二初始检测器的网络参数进行优化，得到所述第二目标检测器；采用知识蒸馏方式将所述第二目标检测器的知识转移至所述第一初始检测器，得到所述第一目标检测器。3.根据权利要求2所述的图像处理方法，其特征在于，所述第一初始检测器包括：第一骨干网络模型和第一颈部网络模型，所述第二初始检测器包括：第二骨干网络模型和第二颈部网络模型，所述目标模仿策略用于控制所述第一初始检测器中的第一部分的特征分布模仿所述第二初始检测器中的第二部分的特征分布，所述第一部分包括以下之一：第一骨干网络模型、第一颈部网络模型，所述第二部分包括以下之一：第二骨干网络模型、第二颈部网络模型。4.根据权利要求3所述的图像处理方法，其特征在于，所述目标模仿策略包括：第一模仿策略，其中，所述第一模仿策略用于控制所述第一颈部网络模型的特征分布模仿所述第二颈部网络模型的特征分布；第二模仿策略，其中，所述第二模仿策略用于控制所述第一骨干网络模型的特征分布模仿所述第二骨干网络模型的特征分布；第三模仿策略，其中，所述第三模仿策略用于控制所述第一骨干网络模型的特征分布模仿所述第二颈部网络模型的特征分布；第四模仿策略，其中，所述第四模仿策略用于控制所述第一颈部网络模型的特征分布模仿所述第二骨干网络模型的特征分布。5.根据权利要求4所述的图像处理方法，其特征在于，基于所述样本图像和所述目标模仿策略对所述第一初始检测器进行训练，得到所述第一特征图包括：基于所述目标模仿策略在所述第一初始检测器中设置所述特征图生成器；将所述样本图像输入所述特征图生成器，输出所述第一特征图。6.根据权利要求4所述的图像处理方法，其特征在于，采用所述样本图像和所述目标模仿策略对所述第二初始检测器进行训练，得到所述第二特征图包括：基于所述目标模仿策略在所述第二初始检测器中设置检测鉴别器；将所述样本图像输入所述第二初始检测器中的第三部分，输出所述第二特征图，其中，
所述第三部分为所述第二初始检测器中除所述检测鉴别器之外的其余部分。7.根据权利要求4所述的图像处理方法，其特征在于，采用所述目标模仿策略对所述第二初始检测器进行训练，得到所述样本图像对应的所述第二分析结果包括：基于所述目标模仿策略在所述第二初始检...

【专利技术属性】
技术研发人员：郭天楚，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：