一种目标识别方法及装置、计算机存储介质制造方法及图纸

技术编号:34872539 阅读:23 留言:0更新日期:2022-09-10 13:24
本发明专利技术公开一种目标识别方法及装置、计算机存储介质,涉及图像识别技术领域,以在资源受限场景下,利用卷积神经网络对目标进行快速充分识别,从而提升目标识别性能。所述方法包括获取图像信息;利用目标检测模型识别图像信息所含有的目标信息;该目标检测模型由采用加权方式融合有全局特征图蒸馏和含有目标的局部特征蒸馏的知识蒸馏模型确定。所述装置用于执行目标识别方法。本发明专利技术提供的装置用于目标识别中。识别中。识别中。

【技术实现步骤摘要】
一种目标识别方法及装置、计算机存储介质


[0001]本专利技术涉及图像识别
,尤其涉及一种目标识别方法及装置、计算机存储介质。

技术介绍

[0002]红外成像技术是一种不借助自然光形成图像的方法,具有抗干扰性强、对光照变化不敏感等特性,更加适合特定场景或特定时间段的视频监控,因此,红外目标识别的误检率成为衡量红外目标识别的重要指标。
[0003]目前,可以使用卷积神经网络对红外图像中的红外目标进行识别,其误检率比较低,且性能远超过基于手工设计特征的传统检测方法。然而,识别红外目标的卷积神经网络深度和容量比较大,使得整个检测器具有较高的计算量和较大的内存占用量,导致卷积神经网络难以应用在资源受限场景。

技术实现思路

[0004]本专利技术提出一种目标识别方法及装置、计算机存储介质,以在资源受限场景下,利用卷积神经网络对目标进行快速充分识别,从而提升目标识别性能。
[0005]为了达到上述目的,本专利技术提供一种目标识别方法,包括:
[0006]获取图像信息;
[0007]利用目标检测模型识别图像信息所含有的目标信息;所述目标检测模型由采用加权方式融合有全局特征图蒸馏和局部特征蒸馏的知识蒸馏模型确定。
[0008]与现有技术相比,本专利技术提供的目标识别方法中,目标检测模型由采用加权方式融合有全局特征图蒸馏和含有目标的局部特征蒸馏的知识蒸馏模型确定,因此,目标检测模型的训练方式为采用加权方式融合有全局特征图蒸馏和含有目标的局部特征蒸馏的知识蒸馏模型训练而成,使得目标检测模型的训练快速收敛,进而获得较小容量的目标检测模型。基于此,本专利技术提供的目标识别方法可以在较少计算量和较小内存占用的情况下,利用目标检测模型识别图像信息所含有的目标信息,从而保证目标识别方法可以在资源受限的场景下快速识别图像信息所含有的目标信息。
[0009]不仅如此,在训练目标检测模型时,可以在老师网络训练完成后,拟合老师网络和学生网络之间的全局特征和包含目标的局部特征,使得最终确定的目标检测模型识别图像信息所含有的目标信息时,可以在保留该图像信息所含有的全图信息的同时,关注到包含有目标的局部区域,使得目标检测模型能够针对性的识别图像信息所含有的目标信息。由此可见,本专利技术提供的目标识别方法中,目标检测模型的训练过程只是学习充分,具有较高的知识传输效率,因此,可以充分学习图像信息所含有的目标信息,从而利用目标检测模型准确识别图像信息所含有的目标信息。
[0010]本专利技术还提供一种目标识别装置,包括:包括处理器以及与处理器耦合的通信接口;所述处理器用于运行计算机程序或指令,以实现上述技术方案所述目标识别方法。
[0011]与现有技术相比,本专利技术提供的目标识别装置的有益效果与上述技术方案所述目标识别方法的有益效果相同,此处不做赘述。
[0012]本专利技术还提供一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,当所述指令被运行时,实现上述技术方案所述目标识别方法。
附图说明
[0013]此处所说明的附图用来提供对本专利技术的进一步理解,构成本专利技术的一部分,本专利技术的示意性实施例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。在附图中:
[0014]图1为本专利技术实施例提供的目标识别方法的应用场景图;
[0015]图2为本专利技术实施例提供的目标识别方法的流程图;
[0016]图3为本专利技术实施例中目标检测模型的确定框架图;
[0017]图4为本专利技术实施例中目标检测模型的训练流程图;
[0018]图5为本专利技术实施例提供的目标识别方法的结构示意图;
[0019]图6为本专利技术实施例提供的终端设备的结构示意图;
[0020]图7为本专利技术实施例提供的芯片结构示意图。
具体实施方式
[0021]为了便于清楚描述本专利技术实施例的技术方案,在本专利技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一阈值和第二阈值仅仅是为了区分不同的阈值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
[0022]需要说明的是,本专利技术中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本专利技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0023]本专利技术中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b的结合,a和c的结合,b和c的结合,或a、b和c的结合,其中a,b,c可以是单个,也可以是多个。
[0024]在介绍本专利技术实施例之前首先对本专利技术实施例中涉及到的相关名词作如下释义:
[0025]知识蒸馏(Knowledge Distillation),又称暗知识提取,是指通过引入与教师网络(teacher network:复杂、但推理性能优越的网络)相关的软目标(soft

target)作为total loss的一部分,以诱导学生网络(student network:精简、低复杂度的网络)的训练,实现知识迁移。
[0026]引导层是指知识蒸馏模型中作为蒸馏对象的卷积特征图所在图层。
[0027]全局特征图蒸馏是指学生网络直接拟合老师网络整个引导层特征图的蒸馏方式。
[0028]局部区域特征蒸馏是指只对特征图上某些特定区域的特征进行拟合的方式。
[0029]Online Hard Example Mining,缩写为OHEM,该算法的核心是选择一hard example作为训练的样本从而改善网络参数效果,hard example指的是有多样性和高损失的样本。
[0030]相关技术中,依赖于更深以及容量更大的基础网络的检测器具有具有极高的计算量和较大的内存占用,极大地限制了它们在资源受限场景下的应用。虽然可以使用知识蒸馏的方式来压缩检测器所使用的网络模型计算量的同时,保证图像目标的识别精度。但是,知识蒸馏在图像分类任务中相对比较成熟,在目标检测领域,由于同时存在目标分类和目标定位,其处理流程更加复杂,面临更多的挑战,导致知识蒸馏也面临更多的不确定性,知识传输效率还有待进一步改善。
[0031]本专利技术实施例提供一种目标识别方法,应用于资源受限的终端设备中。图1示例出本专利技术实施例提供的目标识别方法的应用场景本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种目标识别方法,其特征在于,包括:获取图像信息;利用目标检测模型识别图像信息所含有的目标信息;所述目标检测模型由采用加权方式融合有全局特征图蒸馏和含有目标的局部特征蒸馏的知识蒸馏模型确定。2.根据权利要求1所述的目标识别方法,其特征在于,所述目标信息包括目标特征和目标上下信息。3.根据权利要求1所述的目标识别方法,其特征在于,所述目标检测模型的损失函数包括第一损失函数L
KL
,所述第一损失函数L
KL
采用加权方式融合有全局特征图蒸馏的损失函数以及局部特征蒸馏的损失函数。4.根据权利要求3所述的目标识别方法,其特征在于,所述第一损失函数L
KL
为欧式距离优化的损失函数。5.根据权利要求3所述的目标识别方法,其特征在于,所述第一损失函数L
KL
为基于全局特征图归一化和基于局部特征归一化的损失函数。6.根据权利要求3所述的目标识别方法,其特征在于,所述第一损失函数L
KL
满足:L
KL
=L
Glabal
+λL
Local
;L
Glabal
为全局特征图蒸馏的损失函数,L
Local
为局部区域特征蒸馏的损失函数,λ为控制全局特征图蒸馏和局部区域特征蒸馏权重的平衡参数,0<λ<1。7.根据权利要求6所述的目标识别方法,其特征在于,所述全局特征图蒸馏的损失函数L
Glabal
满足:其中,u
i
为老师网络中第i个预测模块的特征图,v
i
为学生网络中第i个预测模块的特征图,r为学生网络中的维度调整层,M为知识蒸馏网络中预测模块数量,N为知识蒸馏模型的一个训练批次中图片数量,为控制全局特征图蒸馏的第i个预设模块蒸馏损失的权重函数,D
i
为第i个预测模块的特征图空间维度;所述局部特征蒸馏的损失函数L
Local
满足:其中,R为老师网络和学生网络所选取的含有目标信息的样本集合,为老师网络中第i个预测模块的第k个含有目标信息的样本的区域特征,为学生网络中第i个预测模块的第k个含有目标信息的样本的区域特征,r为学生网...

【专利技术属性】
技术研发人员:朱优松葛翔赵朝阳王金桥赵会盼王文帅高跃清
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1