目标检测模型构建方法、目标检测方法、装置和计算设备制造方法及图纸

本公开提供了一种目标检测模型的构建方法、目标检测方法、装置和计算设备，用以解决现有方案中单阶段目标检测器对于小物体检测性能较差的问题。该目标检测模型的构建方法包括：构建特征提取网络，该特征提取网络用于对输入图片进行特征提取，得到多层特征图，该多层特征图包括第一特征图和第二特征图；构建目标检测网络，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；第一网络层用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。得到检测结果。得到检测结果。

【技术实现步骤摘要】
目标检测模型构建方法、目标检测方法、装置和计算设备


[0001]本公开涉及目标检测领域，尤其涉及一种目标检测模型的构建方法、目标检测方法、装置和计算设备。

技术介绍

[0002]近几年来，基于深度神经网络的目标检测器取得了巨大的成功。常见的目标检测而器可分为单阶段检测器和两阶段检测器。其中，单阶段检测器具有结构简单、推理速度快等优点。例如，基于锚点的RetinaNet目标检测器在图片中预先划定一些特定大小及形状的候选框，然后利用神经网络对这些候选框进行分类和回归修正，从而进行目标检测。然而，现有的单阶段目标检测器对于小物体的检测效果却并不尽如人意，为了提升小目标检测的性能，通常会采用高分辨率的输入图片和特征，但这将会带来巨大的计算量，严重减慢推理速度。因此，需要提供一种更高效快速的目标检测方法。

技术实现思路

[0003]本公开的实施例提供一种目标检测模型的构建方法、目标检测方法、装置和计算设备，以提高单阶段目标检测器对于小物体的检测效果率。
[0004]为达到上述目的，本公开的实施例采用如下技术方案：
[0005]本公开实施例的第一方面，提供一种构建特征提取网络，特征提取网络用于对输入图片进行特征提取，得到具有不同尺寸的多层特征图，多层特征图包括第一特征图和第二特征图；构建目标检测网络，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；第一网络层与第一特征图对应，用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层与所述第二特征图对应，用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。
[0006]本公开实施例的第二方面，提供一种目标检测方法，包括：将待检测图片输入到目标检测模型中，目标检测模型包括特征提取网络和目标检测网络；采用特征提取网络对待检测图片进行特征提取，得到具有不同尺寸的多层特征图，多层特征图包括第一特征图和第二特征图；以及采用目标检测网络输出对多层特征图的检测结果，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；其中，第一网络层与所述第一特征图对应，用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层与第二特征图对应，用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。
[0007]本公开实施例的第三方面，提供一种目标检测模型的构建装置，包括：第一构建单元，用于构建特征提取网络，特征提取网络用于对输入图片进行特征提取，得到具有不同尺寸的多层特征图，多层特征图包括第一特征图和第二特征图；第二构建单元，用于构建目标
检测网络，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；第一网络层与第一特征图对应，用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层与第二特征图对应，用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。
[0008]本公开实施例的第四方面，提供一种目标检测装置，包括：输入单元，用于将待检测图片输入到目标检测模型中，目标检测模型包括特征提取网络和目标检测网络；特征提取单元，用于采用特征提取网络对待检测图片进行特征提取，得到具有不同尺寸的多层特征图，多层特征图包括第一特征图和第二特征图；以及目标检测单元，用于采用目标检测网络输出对多层特征图的检测结果，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；其中，第一网络层与所述第一特征图对应，用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层与第二特征图对应，用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。
[0009]本公开实施例的第五方面，提供一种计算设备，包括：处理器、存储器、以及存储在存储器上并可在处理器上运行的计算机程序；其中，处理器在运行计算机程序时，执行如上所述的目标检测模型的构建方法和/或目标检测方法。
[0010]本公开实施例的第六方面，提供一种算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的目标检测模型的构建方法和/或目标检测方法。
[0011]本公开实施例的第七方面，提供一种车辆，包括如上所述的计算设备。
[0012]根据本公开的技术方案，提出了一种新颖的基于查询机制的单阶段目标检测器，实现了快速在高分辨率特征上检测小物体。基本思路为先在低分辨率的特征图上找出小物体的大致位置，即特定目标的查询点，以便根据该查询点在高分辨率的特征图中进行映射和检测检测。本公开了还可以在检测头中加入了查询网络，该查询网络用于判断某个位置是否存在尺寸小于该层尺寸阈值的物体。同时，本公开还可以配合稀疏卷积来提升推理速度，基于这些查询点利用高分辨率的特征构建出一个稀疏特征张量，并利用稀疏卷积计算结果。
附图说明
[0013]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本公开实施例提供的一种车辆100的结构图；
[0015]图2为本公开实施例提供的一种目标检测模型的构建方法200的流程图；
[0016]图3为本公开实施例提供的一种目标检测模型的示意图；
[0017]图4为本公开实施例提供的另一种目标检测模型的示意图；
[0018]图5为本公开实施例提供的另一种目标检测方法500的流程图；
[0019]图6为本公开实施例提供的一种目标检测方法的检测效果示意图；
[0020]图7为本公开实施例提供的一种目标检测模型的构建装置700的结构图；
[0021]图8为本公开实施例提供的另一种目标检测模型装置800的结构图；
[0022]图9为本公开实施例提供的一种计算设备900的结构图。
具体实施方式
[0023]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0024]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的构建方法，包括：构建特征提取网络，所述特征提取网络用于对输入图片进行特征提取，得到具有不同尺寸的多层特征图，所述多层特征图包括第一特征图和第二特征图；构建目标检测网络，所述目标检测网络包括与多层特征图对应的多个网络层，所述多个网络层包括第一网络层和第二网络层；所述第一网络层与所述第一特征图对应，用于对所述第一特征图进行查询操作，并将所得到的查询结果传输给所述第二网络层，所述查询结果包括所述第一特征图中特定目标的查询点；所述第二网络层与所述第二特征图对应，用于确定所述查询点在所述第二特征图中的映射区域，并在所述映射区域内进行检测操作，得到检测结果。2.根据权利要求1所述的方法，其中，所述第一网络层还用于对所述第一特征图进行检测操作，得到检测结果。3.根据权利要求1所述的方法，其中，所述目标检测网络有多个第二网络层，每个第二网络层均从所述第一网络层中接收所述查询结果，并将所述查询结果映射为对应的第二特征图中的映射区域。4.根据权利要求1所述的方法，其中，所述多层特征图还包括第三特征图，所述目标检测网络还包括与所述第三特征图对应的第三网络层，所述第二网络层还用于：对所述第二特征图中的映射区域进行查询操作，得到对应的查询结果；将所得到的查询结果传输给所述第三网络层，以便所述第三网络层将该查询结果中的查询点映射为对应的第三特征图中的映射区域，并在该映射区域内进行检测操作，得到检测结果。5.根据权利要求1所述的方法，其中，所述第二网络层还用于：提取所述映射区域的图像特征来构建稀疏张量；采用稀疏卷积在所述映射区域内进行检测操作和/或查询操作。6.根据权利要求1所述的方法，其中，所述多层特征图还包括附加特征图；所述目标检测网络还包括与所述附加特征图对应的附加网络层；所述附加网络层用于对所述附加特征图进行检测操作，得到检测结果。7.根据权利要求1
‑
6中任一项所述的方法，还包括：构建输出网络，所述输出网络用于将各网络层进行检测操作后所得到的检测结果进行合并输出。8.根据权利要求1所述的方法，其中，所述特征提取网络包括：主干网络，用于对输入图片进行特征提取，得到初始的多层特征图；和特征金字塔网络，用于对所述初始的特征图进行上采样和特征融合，得到改进后的多层特征图。9.根据权利要求1所述的方法，其中，所述第二特征图通过对第一特征图进行上采样和特征融合后得到，所述第二特征图的尺寸为所述第一特征图的m倍，且m＞1。10.根据权利要求9所述的方法，其中，所述第二网络层根据所述第一特征图和第二特征图之间的放大倍数，将所述查询点映射为所述第二特征图中的多个点，得到所述映射区
域。11.根据权利要求1所述的方法，其中，所述检测操作包括回归操作和分类操作中的至少一种；所述检测结果包括回归结果和分类结果中的至少一种。12.根据权利要求11所述的方法，其中，所述目标检测网络包括分类网络、回归网络、查询网络；所述分类操作、回归操作和查询操作分别由分类网络、回归网络、查询网络执行。13.根据权利要求1所述的方法，其中，所述查询结果包括查询结果图；所述查询结果图包括对应特征图中各位置点存在所述特定目标的概率；所述查询点为概率值大于等于预设阈值的位置点。14.根据权利要求1所述的方法，其中，每层特征图具有对应的尺寸阈值，每层特征图的特定目标为尺寸小于等于该层特征图的尺寸阈值的目标。15.根据权利要求1所述的方法，还包括：生成训练样本集，所述训练样本集包括多张训练图像和每张训练图像的标注，所述标注包括分类标注和位置标注中的至少一种；根据所述训练样本集对所构建的目标检测...

【专利技术属性】
技术研发人员：杨陈弘毅，黄泽昊，王乃岩，
申请(专利权)人：北京图森智途科技有限公司，
类型：发明
国别省市：