引入空间对比信息的目标检测框提取方法、系统及设备技术方案

技术编号:34987567 阅读:7 留言:0更新日期:2022-09-21 14:32
本发明专利技术属于图像识别领域,具体涉及了引入空间对比信息的目标检测框提取方法、系统及设备,旨在解决现有的目标检测方法在小样本的条件下进行目标检测的精度较低的问题。本发明专利技术包括:将预测边界框分为大目标边界框和小目标边界框;对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;通过引入空间对比信息的孪生神经网络的目标检测框准确提取模型选取优选目标检测框。本发明专利技术通过对预测边界框进行二次判定,结合滑动窗口的思想,通过生成多个不同候选框的方式提取出目标的信息,再通过孪生网络计算出与目标最接近的边界框,进一步提升了小样本目标检测的精度。样本目标检测的精度。样本目标检测的精度。

【技术实现步骤摘要】
引入空间对比信息的目标检测框提取方法、系统及设备


[0001]本专利技术属于图像识别领域,具体涉及了一种引入空间对比信息的目标检测框提取方法、系统及设备。

技术介绍

[0002]目标检测是计算机视觉方面的研究重点,它是各种下游视觉应用如实例分割,面部分析,自动驾驶的先决条件,也是智能化交通、军事目标检测等应用的核心技术。目标检测的核心任务是对任意一副给定的图像,选择一种检测算法或识别策略,计算出指定目标的坐标信息和类别名称。由于深度学习是典型的数据驱动类型技术,需要在大量的数据,特别是带有标签的数据的支持下才能正常运作,目标检测算法也不例外。需要大量的标注数据进行训练,才能实现精确的检测效果,然而针对某些应用场景,例如军事领域,部分安全领域,要获得大量的数据和对应的标注十分困难。因此,在小样本条件下,因为标准信息少量,使得检测框并不足够准确,为此,我们提出了一种引入空间对比信息和孪生神经网络的目标检测框准确提取方法,用于常规目标检测算法后的检测框进一步准确提取。本专利技术不是一种目标检测方法,而是针对目标检测方法后,让候选框的进一步向目标范围的精确对齐。本专利技术可作为任何一种检测方法的进一步优化的步骤。

技术实现思路

[0003]为了解决现有技术中的上述问题,即现有的目标检测方法在小样本的条件下获取的目标检测框的精度较低的问题,本专利技术提供了引入空间对比信息的目标检测框提取方法,所述方法包括:步骤S100,基于原始图像,获取待检测目标的预测边界框;步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;步骤S500,根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
[0004]在一些优选的实施方式中,将所述预测边界框分为大目标边界框和小目标边界框,具体包括:预设比例阈值α,当所述预测边界框与原始图像的面积占比大于所述比例阈值α,则判定该预测边界框为大目标边界框;当所述预测边界框与原始图像的面积占比小于或等于所述比例阈值α,则判定该预测边界框为小目标边界框。
[0005]在一些优选的实施方式中,所述第一候选框和所述第二候选框,获取方法为:基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长度,和表示

0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移缩放系数对大目标边界框进行偏移和缩小获得一一对应的n个第一候选框;基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长度,和表示

0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移缩放系数 对小目标边界框进行偏移和放大获得一一对应的m个第二候选框。
[0006]在一些优选的实施方式中,所述引入空间信息度量的孪生神经网络,其具体结构为:基于2个结构相同且共享权重的特征提取子网络构建;2个所述特征提取子网络连接至同一个相似度计算子网络;所述相似度计算子网络依次连接两个全连接层,在输出端输出候选框与预设的目标框的类型是否相同的判别信号、归一化的目标框与候选框的归一化中心偏移量,以及目标框与候选框的归一化宽高比例。
[0007]在一些优选的实施方式中,所述引入空间信息度量的孪生神经网络,其训练方法为:步骤A100,获取训练集图像;步骤A200,从所述训练集图像中选出预设目标图像;步骤A300,基于训练集图像,通过如步骤S100

步骤S300的方法,获取训练集第一候选框或训练集第二候选框;步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;步骤A600,重复步骤A100

步骤A500的方法,通过随机梯度下降算法调整网络参数直至所述Loss函数低于预设的损失阈值或达到预设的迭代次数获得训练好的引入空间对比信息的孪生神经网络的目标检测框准确提取模型;根据所述相似度对第一候选框或训练集第二候选框进行排序,选取相似度大于预设的设定阈值且Loss函数计算结果最小的k个第一候选框或训练集第二候选框作为优选的目标检测框。
[0008]在一些优选的实施方式中,所述引入空间信息度量的Loss函数,具体为:其中,和分别表示候选框与目标框的特征,为维向量;P的值为5, 其中,第1维为候选框与目标框目标是否为同一类别的标识;第2、3维为归一化的目标框与候选框的中心偏移量,第4、5向量为目标框与候选框的归一化宽高比例;和分别为第1维类别,第2、3维中心偏移量,第4、5维宽高权重,且,第2、3、4和5维为网络结构中的空间信息,1.0≤≤5.0,使得引入空间信息度量的Loss函数的类别计算部分||的权重更大;针对所述第一候选框,通过引入空间对比信息的孪生神经网络选出相似度大于设定阈值的,且类别相同的将Loss函数计算结果由小到大排序后的前k个候选框,作为优选的目标框,组成优选的目标框集合;针对所述第二候选框,通过引入空间对比信息的孪生神经网络选出挑选出相似度大于设定阈值的,且类别相同的将Loss函数计算结果由小到大排序后的前k个候选框,作为优选的目标框,组成优选的目标框集合。
[0009]在一些优选的实施方式中,所述步骤S500,具体包括:最优目标框的中心坐标(,)为:=,=,其中和为第i个大目标边界框或小目标边界框的中心;最优目标框的宽高(,)为:=,=,其中和为第i个大目标边界框或小目标边界框的宽高。
[0010]本专利技术的另一方面,提出了一种基于孪生神经网络的小样本目标检测框选取系统,所述系统包括:边界框获取模块,配置为基于原始图像,获取的检测目标的预测边界框;边界框划分模块,配置为将所述预测边界框分为大目标边界框和小目标边界框;候选框获取模块,配置为对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;优选目标检测框集合获取模块,配置为构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;优选目标检测框获取模块,配置为根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
[0011]本专利技术的第三方面,提出了一种电子设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种引入空间对比信息的目标检测框提取方法,其特征在于,所述方法包括:步骤S100,基于原始图像,获取的检测目标的预测边界框;步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;步骤S500,根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。2.根据权利要求1所述的引入空间对比信息的目标检测框提取方法,其特征在于,将所述预测边界框分为大目标边界框和小目标边界框,具体包括:预设比例阈值α,当所述预测边界框与原始图像的面积占比大于所述比例阈值α,则判定该预测边界框为大目标边界框;当所述预测边界框与原始图像的面积占比小于或等于所述比例阈值,则判定该预测边界框为小目标边界框。3.根据权利要求1所述的引入空间对比信息的目标检测框提取方法,其特征在于,所述第一候选框和所述第二候选框,获取方法为:基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长度,和表示

0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移缩放系数对大目标边界框进行偏移和缩小获得一一对应的n个第一候选框;基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长度,和表示

0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移缩放系数 对小目标边界框进行偏移和放大获得一一对应的m个第二候选框。4.根据权利要求1所述的引入空间对比信息的目标检测框提取方法,其特征在于,所述引入空间信息度量的孪生神经网络,其具体结构为:基于2个结构相同且共享权重的特征提取子网络构建;2个所述特征提取子网络连接至同一个相似度计算子网络;所述相似度计算子网络依次连接两个全连接层,在输出端输出候选框与预设的目标框的类型是否相同的判别信号、归一化的目标框与候选框的归一化中心偏移量,以及目标框
与候选框的归一化宽高比例。5.根据权利要求4所述的引入空间对比信息的目标检测框提取方法,其特征在于,所述引入空间信息度量的孪生神经网络,其训练方法为:步骤A100,获取训练集图像;步骤A200,从所述训练集图像中选出预设目标图像,步骤A300,基于训练集图像,通过如步骤S100

步骤S300的方法,获取训练集第一候选框或训练集第二候选框;步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;步骤A600,重复步骤A...

【专利技术属性】
技术研发人员:杨明浩蒋逸铭
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1