检测框的确定方法、装置、存储介质及电子装置制造方法及图纸

本发明专利技术实施例提供了一种检测框的确定方法、装置、存储介质及电子装置，其中，该方法包括：将待检测图像以及与待检测图像对应的第一支持图像集输入至目标检测模型中，利用目标检测模型中包括的特征再匹配网络对第一特征以及第二特征进行匹配操作，其中，第一特征为目标检测模型中包括的主干网络提取到的待检测图像的特征，第二特征为主干网络提取到的第一支持图像集的特征；基于匹配操作确定待检测图像中包括的目标对象的第一检测框；利用目标重识别网络过滤第一检测框，确定目标对象的目标检测框。通过本发明专利技术，解决了相关技术中存在的确定检测框的方法难以同时保证较高的召回率和精确率的问题，达到同时保证较高的召回率和精确率效果。精确率效果。精确率效果。

【技术实现步骤摘要】
检测框的确定方法、装置、存储介质及电子装置


[0001]本专利技术实施例涉及基于深度学习的目标检测领域，具体而言，涉及一种检测框的确定方法、装置、存储介质及电子装置。

技术介绍

[0002]目标检测是计算机视觉任务里的一项基础且具有挑战性的任务，是学术界的研究热点和工业界的应用热点，在智慧交通、安防监控、工业检测等场景得到广泛应用。由于基于深度学习的目标检测技术速度快，精度高，迭代成熟，因此，大多数目标检测技术选择使用基于深度学习的方法。然而，基于深度学习的方法需要针对待检测的目标类别，采集大量包含该目标类别的图像并进行目标框标注，最后才能将标注后的图像数据用于训练目标检测模型。其中，采集和标注的过程十分耗费人力物力和时间，并且训练过后的模型只能检测标注和训练过的目标类别，无法检测新类别，导致目标检测的通用性较差。小样本目标检测算法旨在只通过少量新类别的目标样本提取该类别目标的特征，以进行新类别目标的检测，实现更为通用的目标检测。其难点在于新类别的目标样本数量很少，如何能从其中提取到核心的特征以及如何利用这些特征进行有效且准确的目标检测。
[0003]在相关技术中，使通常用两阶段的Faster
‑
RCNN架构作为基础框架，输入查询图像和支持集图像提取特征后在跨图像特征融合模块中完成支持集图像特征对查询图像特征的强化，之后送入改进的RPN模块生成ROI特征向量，再通过特征聚合模块对候选框进行筛选并完成支持集向量和ROI特征向量的空间对齐，最后将处理好的ROI和支持向量送入分类器中分类，最终输出目标类型和检测框的准确位置。然而，为了增强小样本目标检测的分类和定位性能使用的跨图像特征融合模块包含的注意力机制对于硬件不友好，难以在各种工业芯片上部署；该设计中使用的Faster
‑
RCNN作为主干网络，目标检测耗时偏大；该设计中使用的支持图像集为多张图片，多张图片提取的特征融合能有效提升模型的召回能力但也会导致误报增多、精确度降低。
[0004]由此可知，相关技术中存在确定检测框的方法难以同时保证较高的召回率和精确率的问题。
[0005]针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种检测框的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的确定检测框的方法难以同时保证较高的召回率和精确率的问题。
[0007]根据本专利技术的一个实施例，提供了一种检测框的确定方法，包括：将待检测图像以及与所述待检测图像对应的第一支持图像集输入至目标检测模型中，利用所述目标检测模型中包括的特征再匹配网络对第一特征以及第二特征进行匹配操作，其中，所述第一特征为所述目标检测模型中包括的主干网络提取到的所述待检测图像的特征，所述第二特征为所述主干网络提取到的所述第一支持图像集的特征；基于所述匹配操作确定所述待检测图
像中包括的目标对象的第一检测框；利用目标重识别网络过滤所述第一检测框，确定所述目标对象的目标检测框。
[0008]根据本专利技术的另一个实施例，提供了一种检测框的确定装置，包括：匹配模块，用于将待检测图像以及与所述待检测图像对应的第一支持图像集输入至目标检测模型中，利用所述目标检测模型中包括的特征再匹配网络对第一特征以及第二特征进行匹配操作，其中，所述第一特征为所述目标检测模型中包括的主干网络提取到的所述待检测图像的特征，所述第二特征为所述主干网络提取到的所述第一支持图像集的特征；第一确定模块，用于基于所述匹配操作确定所述待检测图像中包括的目标对象的第一检测框；第二确定模块，用于利用目标重识别网络过滤所述第一检测框，确定所述目标对象的目标检测框。
[0009]根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0010]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0011]通过本专利技术，将待检测图像以及与待检测图像对应的第一支持图像集输入至目标检测模型中，利用目标检测模型中包括的特征再匹配网络对目标检测模型中包括的主干网络提取到的待检测图像的第一特征以及主干网络提取到的第一支持图像集的第二特征进行匹配操作，根据匹配操作确定待检测图像中包括的目标对象的第二检测框；利用目标重识别网络过滤第一检测框，利用目标重识别网络过滤第一检测框，确定目标对象的目标检测框。由于在确定待检测图像的中包括的目标对象的目标检测框时，可以利用目标检测网络以及目标重识别网络进行确定，目标检测网络中包括有训练完成的特征再匹配网络，特征再匹配和目标重识别能极大地提升小样本目标检测的召回率和有效率，因此，可以解决相关技术中存在的确定检测框的方法难以同时保证较高的召回率和精确率的问题，达到同时保证较高的召回率和精确率效果。
附图说明
[0012]图1是本专利技术实施例的一种检测框的确定方法的移动终端的硬件结构框图；
[0013]图2是根据本专利技术实施例的检测框的确定方法的流程图；
[0014]图3是根据本专利技术实施例的检测框的确定装置的结构框图。
具体实施方式
[0015]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0016]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0017]本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种检测框的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装
置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0018]存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的检测框的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测框的确定方法，其特征在于，包括：将待检测图像以及与所述待检测图像对应的第一支持图像集输入至目标检测模型中，利用所述目标检测模型中包括的特征再匹配网络对第一特征以及第二特征进行匹配操作，其中，所述第一特征为所述目标检测模型中包括的主干网络提取到的所述待检测图像的特征，所述第二特征为所述主干网络提取到的所述第一支持图像集的特征；基于所述匹配操作确定所述待检测图像中包括的目标对象的第一检测框；利用目标重识别网络过滤所述第一检测框，确定所述目标对象的目标检测框。2.根据权利要求1所述的方法，其特征在于，在将待检测图像以及与所述待检测图像对应的第一支持图像集输入至目标检测模型中之前，所述方法还包括：获取查询图像，以及与所述查询图像对应的第二支持图像集，其中，所述第二支持图像集中的每张图像中包括的对象与所述查询图像中包括的对象的类别相同；利用所述查询图像以及所述第二支持集图像训练初始检测模型，得到所述目标检测模型。3.根据权利要求2所述的方法，其特征在于，利用所述查询图像以及所述第二支持图像集训练初始检测模型，得到目标检测模型包括：获取与所述查询图像对应的第三支持图像集，其中，所述第三支持图像集中包括的对象的类型与所述查询图像中包括的对象的类型相同；利用所述查询图像、所述第二支持图像集以及所述第三支持图像集训练所述初始检测模型，得到所述目标检测模型。4.根据权利要求3所述的方法，其特征在于，利用所述查询图像、所述第二支持图像集以及所述第三支持图像集训练所述初始检测模型，得到所述目标检测模型包括：针对所述查询图像、所述第二支持图像集以及所述第三支持图像集中的任意一个目标图像，均执行以下操作，得到每个所述目标图像对应的第三特征：将所述目标图像输入至所述初始检测模型中包括的初始主干网络中，得到所述初始主干网络的第N个结构块输出的所述第三特征；基于所述第三特征以及所述初始检测模型中包括的初始区域候选网络确定所述查询图像中包括的对象的查询检测框；从所述查询图像中提取与所述查询检测框的位置对应的检测框特征；基于所述第二支持图像集对应的所述第三特征、所述第三支持图像集对应的所述第三特征以及所述检测框特征以及所述初始检测模型中包括的初始特征再匹配网络修正所述查询检测框，得到第二检测框，并确定所述第二检测框的第一置信度；基于所述第二检测框以及所述第二检测框对应的所述第一置信度确定所述初始检测模型的目标损失值；基于所述目标损失值更新所述初始检测模型的网络参数，得到所述目标检测模型。5.根据权利要求4所述的方法，其特征在于，基于所述第三特征以及所述初始检测模型中包括的初始区域候选网络确定所述查询图像中包括的对象的查询检测框包括：对所述第二支持图像集对应的所述第三特征依次进行全局最大池化操作以及均值融合操作，得到第四特征；将所述查询图像对应的所述第三特征与所述第四特征进行广播点乘，得到第五特征；
对所述第三支持图像集对应的所述第三特征依次进行全局最大池化操作以及均值融合操作，得到第六特征；将所述查询图像对应的所述第三特征与所述第六特征进行广播点乘，得到第七特征；将所述第五特征输入至所述初始区域候选网络中，得到第一分类特征以及第一定位特征，以及将所述第七特征输入至所述初始区域后续网络中，得到第二分类特征以及第二定位特征；基于所述第一分类特征、所述第一定位特征、所述第二分类特征以及所述第二定位特征确定所述查询检测框。6.根据权利要求5所述的方法，其特征在于，基于所述第一分类特征、所述第一定位特征、所述第二分类特征以及所述第二定位特征确定所述查询检测框包括：基于所述第一定位特征确定所述查询图像中包括的对象的第一定位预测框；从所述第一定位预测框确定出第一前景预测框以及第一背景预测框；基于所述第二定位特征确定所述查询图像中包括对象的第二背景预测框；从所述第一前景预测框、所述第一背景预测框以及所述第二背景预测框中选取第二定位预测框以及第三背景预测框；基于所述第一分类特征以及所述第二分类特征确定所述第二定位预测框的第二置信度以及所述第三背景预测框的第三置信度；基于所述第二置信度以及所述第三置信度对所述第二定位预测框以及所述第三背景预测框进行非极大值抑制，得到第三定位预测框；将所述第三定位预测框确定为所述查询检测框。7.根据权利要求4所述的方法，其特征在于，基于所述第二支持图像集对应的所述第三特征、所述第三支持图像集对应的所述第三特征以及所述检测框特征以及所述初始检测模型中包括的初始特征再匹配网络修正所述查询检测框，得到所述第二检测框包括：基于所述第二支持图像集中的每张图像的第一标注框坐标从所述第二支持图像集对应的所述第三特征中提取第八特征；基于所述第三支持图像集中的每张图像的第二标注框坐标从所述第三支持图像集对应的所述第三特征中提取第九特征；针对所述第八特征、所述第九特征以及所述检测框特征中的任意一个第一目标特征均执行以下操作，得到与每个特征对应的第十特征：将所述第一目标特征输入至所述初始主干网络的第M个结构块中，得到所述第十特征；对与所述第八特征对应的所述第十特征进行均值融合操作，得到第十一特征，以及对与所述第九特征对应的所述第十特征进行均值融合操作，得到第十二特征；将与所述第八特征对应的所述第十特征、所述第十一特征以及所述第十二特征输入至所述初始特征再匹配网络中，以修正所述查询检测框，得到所述第二检测框。8.根据权利要求7所述的方法，其特征在于，将与所述第八特征对应的所述第十特征、所述第十一特征以及所述第十二特征输入至所述初始特征再匹配网络中，以修正所述查询检测框，得到所述第二检测框包括：对与所述第八特征对应的所述第十特征进行全局均...

【专利技术属性】
技术研发人员：蒋伟，孙鹤，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：