目标检测方法、装置、电子设备、计算机可读存储介质制造方法及图纸

本公开提供了目标检测方法、装置、电子设备、计算机可读存储介质，涉及图像处理技术领域，尤其涉及深度学习、目标检测技术领域。具体实现方案为：对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺度特征，多个所述尺度特征包括一个深层特征和至少一个浅层特征，所述浅层特征对应的尺度小于所述深层特征对应的尺度；基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征；将所述全局语义特征与所述浅层特征进行特征融合，获取检测特征；根据所述检测特征获取所述待检测图像中的目标类别以及目标位置。中的目标类别以及目标位置。中的目标类别以及目标位置。

【技术实现步骤摘要】
目标检测方法、装置、电子设备、计算机可读存储介质


[0001]本公开涉及图像处理
，尤其涉及深度学习、目标检测
，具体而言，本公开涉及一种目标检测方法、装置、电子设备、计算机可读存储介质。

技术介绍

[0002]目标检测是计算机视觉领域中的一个重要问题。近年来，随着深度学习技术的发展，基于深度神经网络的目标检测方法已经成为研究热点。
[0003]目标检测的一大难题在于图像中存在不同尺度的目标，单一尺度的特征无法涵盖不同大小的物体。

技术实现思路

[0004]本公开提供了一种目标检测方法、装置、电子设备、计算机可读存储介质。
[0005]根据本公开的第一方面，提供了一种目标检测的方法，该方法包括：
[0006]对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺度特征，多个所述尺度特征包括一个深层特征和至少一个浅层特征，所述浅层特征对应的尺度小于所述深层特征对应的尺度；
[0007]基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征；
[0008]将所述全局语义特征与所述浅层特征进行特征融合，获取检测特征；
[0009]根据所述检测特征获取所述待检测图像中的目标类别以及目标位置。
[0010]根据本公开的第二方面，提供了一种目标检测的装置，该装置包括：
[0011]特征提取模块，用于对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺度特征，多个所述尺度特征包括一个深层特征和至少一个浅层特征，所述浅层特征对应的尺度小于所述深层特征对应的尺度；
[0012]注意力模块，用于基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征；
[0013]特征融合模块，用于将所述全局语义特征与所述浅层特征进行特征融合，获取检测特征；
[0014]检测模块，用于根据所述检测特征获取所述待检测图像中的目标类别以及目标位置。
[0015]根据本公开的第三方面，提供了一种电子设备，该电子设备包括：
[0016]至少一个处理器；以及
[0017]与上述至少一个处理器通信连接的存储器；其中，
[0018]存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述目标检测的方法。
[0019]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述目标检测的方法。
[0020]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述目标检测的方法。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是本公开实施例提供的一种目标检测方法的流程示意图；
[0024]图2是本公开实施例提供的一种目标检测方法的部分步骤的流程示意图；
[0025]图3是本公开实施例提供的一种目标检测方法的部分步骤的流程示意图；
[0026]图4是本公开实施例提供的一种目标检测方法的部分步骤的流程示意图；
[0027]图5是本公开实施例提供的一种目标检测方法的一个具体实施例的过程示意图；
[0028]图6是本公开实施例提供的一种目标检测装置的结构示意图；
[0029]图7是用来实现本公开实施例的目标检测方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]在一些相关技术中，利用Neck(颈部网络)对Backbone(骨干网络)输出的不同尺度的特征进行融合，在融合后的多尺度特征上进行预测。
[0032]在一些相关技术中，通过FPN(Feature Pyramid Networks，特征金字塔网络)，利用深层特征逐步上采样的方式与浅层特征进行融合，并在融合后的三个尺度的特征图上分别使用Head(检测头)来检测目标的种类和位置。
[0033]深层特征包含丰富的语义信息，而浅层特征包含较多的物体定位信息，FPN浅层特征到深层特征的传播路径过长，导致物体定位信息在特征融合过程中丢失。
[0034]在一些相关技术中，PAN(Path Aggregation Network，路径聚合网络)通过自底向上的路径增强，缩短信息传播路径，同时利用底层特征的精准定位信息实现对各种尺度的目标的定位。
[0035]但由于PAN增加了特征传播路径，其计算量大大增加。
[0036]在一些相关技术中，BiFPN(Bidirectional Feature Pyramid Network，加权双向特征金字塔网络)通过移除单输入边的结点减少计算量，但同时导致了多尺度特征融合不够充分，且难以对不同尺度的特征进行全局建模，从而限制了网络的特征提取能力。
[0037]本公开实施例提供的目标检测方法、装置、电子设备、计算机可读存储介质，旨在解决现有技术的如上技术问题中的至少一个。
[0038]本公开实施例提供的目标检测方法可以由终端设备或服务器等电子设备执行，终端设备可以为车载设备、用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、
车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者，可通过服务器执行所述方法。
[0039]图1示出了本公开实施例提供的一种目标检测方法的流程示意图，如图1所示，该方法可以包括步骤S110、步骤S120、步骤S130、步骤S140。
[0040]在步骤S110中，对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺度特征，多个尺度特征包括一个深层特征和至少一个浅层特征，浅层特征对应的尺度小于深层特征对应的尺度；
[0041]在步骤S120中，基于多个尺度特征，进行交叉注意力计算，获取全局语义特征；
[0042]在步骤S130中，将全局语义特征与浅层特征进行特征融合，获取检测特征；
[0043]在步骤S140中，根据检测特征获取待检测图像中的目标类别以及目标位置。
[0044]举例来说，在步骤S110中，可以通过对待检测图像进行不同尺度的采样实现对待检测图像的多尺度特征提取。
[0045本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测的方法，包括：对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺度特征，多个所述尺度特征包括一个深层特征和至少一个浅层特征，所述浅层特征对应的尺度小于所述深层特征对应的尺度；基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征；将所述全局语义特征与所述浅层特征进行特征融合，获取检测特征；根据所述检测特征获取所述待检测图像中的目标类别以及目标位置。2.根据权利要求1所述的方法，其中，所述基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征，包括：对多个所述尺度特征进行拼接，将拼接后的特征作为内容特征，将所述尺度特征映射成特征向量，将所述特征向量作为查询特征，将所述尺度特征作为键值特征；基于所述内容特征、所述键值特征以及所述查询特征进行交叉注意力处理，获取所述尺度特征对应的注意力特征；基于多个所述尺度特征对应的注意力特征，获取全局语义特征。3.根据权利要求1所述的方法，其中，所述基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征，包括：对所述浅层特征进行池化操作，获取池化特征，使所述池化特征的分辨率与所述深层特征的分辨率一致；基于所述池化特征和所述深层特征进行交叉注意力计算，获取所述全局语义特征。4.根据权利要求3所述的方法，其中，所述池化操作为最大池化操作。5.根据权利要求1所述的方法，其中，所述将所述全局语义特征与所述浅层特征进行特征融合，获取检测特征，包括：对所述全局语义特征进行上采样，将所述全局语义特征与所述浅层特征进行融合，获取所述浅层特征对应的第一融合特征；对所述浅层特征对应的第一融合特征进行下采样，将所述浅层特征对应的第一融合特征与所述全局语义特征进行融合，获取所述检测特征。6.根据权利要求1所述的方法，其中，所述对待检测图像进行多尺度特征提取，包括：使用预先训练的骨干网络，对所述待检测图像进行多尺度特征提取；所述基于多个所述尺度特征，进行交叉注意力计算，获取全局语义特征，包括：基于多个所述尺度特征，使用预先训练的注意力网络进行交叉注意力计算，获取全局语义特征；所述根据所述检测特征获取所述待检测图像中的目标类别以及目标位置，包括：将所述检测特征输入预先训练的检测头获取所述待检测图像中的目标类别以及目标位置。7.根据权利要求6所述的方法，其中，所述骨干网络、所述注意力网络、所述检测头串行组成目标检测网络；所述骨干网络、所述注意力网络、所述检测头是通过对所述目标检测网络预先进行端到端训练获取的。8.一种目标检测的装置，包括：特征提取模块，用于对待检测图像进行多尺度特征提取，获取多个对应不同尺度的尺
度特征，多个所述尺度特征包括包括一个深层特征和至少一个浅层特征，所述浅层特征对应的尺度小于所述深层特征对应的尺度；注意力模块，用于基于多...

【专利技术属性】
技术研发人员：吕文玉，赵祎安，徐尚良，王冠中，党青青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：