一种基于渐进式候选框高亮的检测方法、设备和介质技术

本发明专利技术公开了一种基于渐进式候选框高亮的检测方法，将图像输入检测器中，通过检测器识别图像中目标，获得目标在图像中位置，通过以下步骤进行：通过Conformer网络提取图像的候选框嵌入向量与特征向量；根据候选框嵌入向量获得目标候选框；通过区域特征聚集对目标候选框内的特征向量进行提取，获得局部特征向量；将候选框嵌入向量与局部特征向量融合，获得新的候选框嵌入向量；以新的候选框嵌入向量替代原有的候选框嵌入向量，依次重复上述步骤，经过多次重复，获得图像中目标所在位置。本发明专利技术公开的方法增强了目标特征，显著提高了检测和定位的准确性。测和定位的准确性。测和定位的准确性。

A detection method, equipment and media based on progressive candidate box highlighting

【技术实现步骤摘要】
一种基于渐进式候选框高亮的检测方法、设备和介质


[0001]本专利技术涉及一种基于渐进式候选框高亮的检测方法，属于图像识别


技术介绍

[0002]计算机视觉是通过计算机对一些视觉目标如图像、视频进行识别和分析，从而辅助或代替人类视觉系统进行工作，以减轻人类获取和处理这些视觉信息的工作量的一种技术。
[0003]目前，用于视觉目标检测的方法，发展出了两个分支，一个是卷积神经网络，一个是基于transformer的网络。
[0004]基于卷积神经网络的检测器会充分利用局部区域的特征，但是在捕捉与远距离对象之间的语义依赖会遇到困难；基于transformer的目标检测器擅长捕捉远距离对象之间的语义依赖，但是会恶化局部特征的细节。
[0005]因此，有必要研究一种检测方法，以解决上述问题。

技术实现思路

[0006]为了克服上述问题，本专利技术人进行了深入研究，提出了一种基于渐进式候选框高亮的检测方法，通过将卷积神经网络和基于transformer的网络的两个框架特征合理地同时利用和融合，使得检测器既可以充分吸收局部特征细节，也可以擅长捕捉远距离对象之间的语义依赖，实现了良好的检测效果。
[0007]具体地，本专利技术公开了一种基于渐进式候选框高亮的检测方法，将图像输入检测器中，通过检测器识别图像中目标，获得目标在图像中位置。
[0008]进一步地，所述检测器通过以下步骤进行图像中目标位置的识别：
[0009]S1、通过Conformer网络提取图像的候选框嵌入向量与特征向量；
[0010]S2、根据候选框嵌入向量获得目标候选框；
[0011]S3、通过区域特征聚集对目标候选框内的特征向量进行提取，获得局部特征向量；
[0012]S4、将候选框嵌入向量与局部特征向量融合，获得新的候选框嵌入向量；
[0013]S5、以新的候选框嵌入向量替代原有的候选框嵌入向量，依次重复步骤S2～S4，经过多次重复，获得图像中目标所在位置，所述位置通过最后一次获得的目标候选框标示出来。
[0014]进一步地，所述目标候选框包括分类分数和边界框，
[0015]所述分类分数用于表示候选框内存在目标的概率，所述边界框用于表示候选框的边界范围。
[0016]优选地，在S2中，通过感知层对初始目标边界框进行修正，获得目标边界框，所述初始目标边界框由Conformer网络生成。
[0017]优选地，所述感知层的参数为利用候选框嵌入向量，通过最小化匹配损失法训练获得，包括以下步骤：
[0018]S21、将候选框嵌入向量输入线性层获得预测分类分数；
[0019]S22、通过将候选框嵌入向量输入感知层得到边界框偏移量，通过边界框偏移量对初始目标边界框进行修正，获得预测边界框；
[0020]S23、预测边界框与预测分类分数组合成预测集合R，将预测集合R与真值目标集合进行匹配，通过最小化匹配损失更新并获得感知层的参数。
[0021]优选地，S23中，通过匈牙利法实现最小化匹配损失，其中匹配的损失函数为分类损失函数、目标定位L1损失函数和GioU损失函数的加权和；
[0022]分类损失函数表征预测分类分数与真值目标分类分数的损失；目标定位L1损失函数和GioU损失函数表征预测边界框与真值目标边界框的损失。
[0023]优选地，在S3中，通过RoIAlign方法对特征向量进行提取，获得局部特征向量。
[0024]优选地，在S4中，所述融合包括以下子步骤：
[0025]S41、通过线性层将候选框嵌入向量增强至I个，形成嵌入向量集；
[0026]S42、将候选框嵌入向量集和局部特征向量通过交叉注意力方法进行增强，获得增强特征向量；
[0027]S43、将增强特征向量输入卷积层，获得新的候选框嵌入向量。
[0028]优选地，在S42中，所述交叉注意力方法可以表示为：
[0029][0030]其中，为增强特征向量，f
i
为局部特征向量，为嵌入向量集，θ
q
、θ
k
、θ
v
为线性转换层参数，C表示特征向量的维度，h
′
为超参数，上标
T
表示转置。
[0031]本专利技术还提供了一种电子设备，包括：
[0032]至少一个处理器；以及
[0033]与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
[0034]本专利技术还提供了一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
[0035]本专利技术所具有的有益效果包括：
[0036](1)在目标候选框预测和在可学习的迭代优化框架中增强了目标特征；
[0037](2)通过交叉注意力方法，融合了稀疏的transformer嵌入向量和密集的卷积神经网络局部特征，有效地增强了嵌入向量的表征能力，显著提高了检测的准确性。
附图说明
[0038]图1示出根据本专利技术一种优选实施方式的基于渐进式候选框高亮的检测方法中检测器识别目标位置的方法示意图。
具体实施方式
[0039]下面通过附图和实施例对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。
[0040]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0041]本专利技术提供了一种基于渐进式候选框高亮的检测方法，将图像输入检测器中，通过检测器识别图像中目标，获得目标在图像中位置。本专利技术所述的检测方法，能够同时兼顾并高效关注目标的纹理细节和远距离语义依赖，有效地解决了基于卷积神经网络的检测器无法捕获远距离语义依赖以及基于transformer的检测器丢失局部细节的缺点。
[0042]具体地，本专利技术中所述的检测器通过以下步骤进行图像中目标位置的识别：
[0043]S1、通过Conformer网络提取图像的候选框嵌入向量与特征向量；
[0044]S2、根据候选框嵌入向量获得目标候选框；
[0045]S3、通过区域特征聚集对目标候选框内的特征向量进行提取，获得局部特征向量；
[0046]S4、将候选框嵌入向量与局部特征向量融合，获得新的候选框嵌入向量；
[0047]S5、以新的候选框嵌入向量替代原有的候选框嵌入向量，依次重复步骤S2～S4，经过多次重复，获得图像中目标所在位置，所述位置通过最后一次获得的目标候选框标示出来。
[0048]在S1中，所述Conformer网络是2020年提出的一种网络模型，在Co本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式候选框高亮的检测方法，其特征在于，将图像输入检测器中，通过检测器识别图像中目标，获得目标在图像中位置。2.根据权利要求1所述的基于渐进式候选框高亮的检测方法，其特征在于，所述检测器通过以下步骤进行图像中目标位置的识别：S1、通过Conformer网络提取图像的候选框嵌入向量与特征向量；S2、根据候选框嵌入向量获得目标候选框；S3、通过区域特征聚集对目标候选框内的特征向量进行提取，获得局部特征向量；S4、将候选框嵌入向量与局部特征向量融合，获得新的候选框嵌入向量；S5、以新的候选框嵌入向量替代原有的候选框嵌入向量，依次重复步骤S2～S4，经过多次重复，获得图像中目标所在位置，所述位置通过最后一次获得的目标候选框标示出来。3.根据权利要求2所述的基于渐进式候选框高亮的检测方法，其特征在于，在S2中，通过感知层对初始目标边界框进行修正，获得目标边界框，所述初始目标边界框由Conformer网络生成。4.根据权利要求3所述的基于渐进式候选框高亮的检测方法，其特征在于，所述感知层的参数为利用候选框嵌入向量，通过最小化匹配损失法训练获得，包括以下步骤：S21、将候选框嵌入向量输入线性层获得预测分类分数；S22、通过将候选框嵌入向量输入感知层得到边界框偏移量，通过边界框偏移量对初始目标边界框进行修正，获得预测边界框；S23、预测边界框与预测分类分数组合成预测集合R，将预测集合R与真值目标集合进行匹配，通过最小化匹配损失更新并获得感知层的参数。5.根据权利要求4所述的基于渐进式候选框高亮的检测方法，其特征在于，S23中，通过匈牙利法实现最小化匹配损失，其中匹配的损失函数为分类损失函数、目标定位L1损失函数和GioU损失函数的加权和；分类损失函...

【专利技术属性】
技术研发人员：张云霄，叶齐祥，郭宗昊，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：