基于注意力机制的目标检测方法、网络、设备和存储介质技术

本申请涉及图像处理技术领域，公开了一种基于注意力机制的目标检测方法、网络、设备和存储介质。该方法包括：通过特征提取网络提取待检测图像的特征，得到第一特征图；通过区域生成网络处理第一特征图，得到至少一个候选区域；通过ROI池化网络处理第一特征图和候选区域，得到第二特征图；通过分类网络和回归网络分别处理第二特征图，得到至少一个目标的类别得分和边界框信息；特征提取网络、分类网络和回归网络中的至少一个包括注意力子网络；注意力子网络确定在先层和临时层；基于在先层和临时层，确定注意力权重；将在先层和注意力权重进行乘积操作，对在先层增加注意力。通过上述技术方案，提高目标检测的速度和精确度。

【技术实现步骤摘要】
基于注意力机制的目标检测方法、网络、设备和存储介质
本申请涉及图像处理
，尤其涉及一种基于注意力机制的目标检测方法、网络、设备和存储介质。
技术介绍
目标检测是用于识别图像中的目标及其位置的技术，其既要使用边界框定位图像中的目标(确定目标位置)，也要检测出每个目标所属的类别(图像分类)。目标检测是很多计算机视觉任务的基础，其在自动驾驶、人脸识别、行为识别和目标计数等领域有广泛的应用前景。目前主流的目标检测算法主要是基于深度学习模型，可以分为两大类：一类是one-stage检测算法。该类算法直接产生目标的类别概率和坐标位置，不需要产生候选区域。另一类是two-stage检测算法。该类算法将检测问题划分为两个阶段，首先是产生候选区域，然后基于候选区域进行分类和边框回归，得到目标的类别概率和坐标位置。上述各类目标检测模型存在的主要问题有：(1)目标定位不准确；(2)模型泛化能力(模型对新样本的适应能力)不强，导致分类错误；(3)速度较慢。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于注意力机制的目标检测方法、网络、设备和存储介质。第一方面，本申请提供了一种基于注意力机制的目标检测方法，包括：通过特征提取网络提取待检测图像的特征，得到第一特征图；通过区域生成网络处理所述第一特征图，得到至少一个候选区域；通过ROI池化网络处理所述第一特征图和所述至少一个候选区域，得到第二特征图，所述第二特征图包括所述至少一个候选区域；通过分类网络和回归网络分别处理所述第二特征图，得到至少一个目标的类别得分和边界框信息；其中，所述特征提取网络、所述分类网络和所述回归网络中的至少一个包括注意力子网络；其中，所述注意力子网络用于：确定在先层，所述在先层为待配置注意力权重的特征图；确定临时层；基于所述在先层和所述临时层，确定注意力权重；将所述在先层和所述注意力权重进行乘积操作，实现对所述在先层增加注意力。第二方面，本申请提供了一种基于注意力机制的目标检测网络，该目标检测网络包括：特征提取网络、区域生成网络、ROI池化网络、分类网络和回归网络；其中，所述特征提取网络、所述分类网络和所述回归网络中的至少一个包括注意力子网络；其中，所述注意力子网络，用于确定在先层，所述在先层为待配置注意力权重的特征图；确定临时层；基于所述在先层和所述临时层，确定注意力权重；将所述在先层和所述注意力权重进行乘积操作，实现对所述在先层增加注意力；所述特征提取网络，用于提取待检测图像的特征，得到第一特征图；所述区域生成网络，用于处理所述第一特征图，得到至少一个候选区域；所述ROI池化网络，用于处理所述第一特征图和所述至少一个候选区域，得到第二特征图，所述第二特征图包括所述至少一个候选区域；所述分类网络，用于处理所述第二特征图，得到至少一个目标的类别得分；所述回归网络，用于处理所述第二特征图，得到所述至少一个目标的边界框信息。第三方面，本申请提供了一种的电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的基于注意力机制的目标检测方法中的任一实施例。第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于注意力机制的目标检测方法中的任一实施例。本申请实施例提供的技术方案与现有技术相比具有如下优点：一、向目标检测网络中的特征提取网络、分类网络和回归网络中的至少一个增加注意力子网络，使得目标检测网络更加专注于图像中需要关注的目标的特征、类别和位置中的至少一种，提高目标分类精度和目标定位精度，从而提高目标检测精确度。二、增加的注意力子网络只需在原有网络基础上增加确定注意力权重和将在先层和注意力权重进行乘积的操作，不会增加网络的计算量和计算时间。反而，注意力子网络的增加，使得目标检测网络可以更加快速地专注于目标的特征、类别和位置，一定程度上节省了网络的训练时间和检测时间，提高了目标检测的速度。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种基于注意力机制的目标检测网络的网络结构框图；图2是本申请实施例提供的一种注意力子网络的网络结构框图；图3是本申请实施例提供的一种多尺度的特征提取网络的网络结构框图；图4是本申请实施例提供的一种区域生成网络的网络结构框图；图5是本申请实施例提供的一种增加了注意力子网络的分类网络和回归网络的网络结构框图；图6是本申请实施例提供的电子设备的结构示意图；图7是本申请实施例提供的一种基于注意力机制的目标检测方法的流程图。图8是本申请实施例提供的一种注意力子网络的处理流程图。具体实施方式为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。目标检测要求在尽量短的时间内正确检测到尽量多的目标。但是目前的目标检测算法，大部分二阶段two-stage检测算法的计算量大、运行速度慢；大部分一阶段one-stage检测算法虽然检测速度较快，但其分类和定位的精确率都较低。即目前的目标检测算法致使目标检测效果不理想。针对该问题，本申请实施例提供一种基于注意力机制的目标检测方案，实现在目标检测网络中的特征提取网络、分类网络和回归网络中的至少一个增加注意力子网络，在确保检测速度的同时，提高目标检测精度。对于某个目标检测网络，在一些实施例中，可以在目标检测网络中的特征提取网络、分类网络或回归网络中增加注意力子网络，得到基于注意力机制的目标检测网络；在一些实施例中，也可以在特征提取网络、分类网络和回归网络中的任意两个中增加注意力子网络，得到基于注意力机制的目标检测网络；在一些实施例中，还可以在特征提取网络、分类网络和回归网络中均增加注意力子网络，得到基于注意力机制的目标检测网络。针对于在特征提取网络中增加注意力子网络，能够使得特征提取网络学习到在更加适合的尺度上进行当前目标的检测和特征提取，从而使得特征提取网络更加关注于图像中的当前目标，提高特征提取的精确度。针对于在本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的目标检测方法，其特征在于，所述方法包括：/n通过特征提取网络提取待检测图像的特征，得到第一特征图；/n通过区域生成网络处理所述第一特征图，得到至少一个候选区域；/n通过ROI池化网络处理所述第一特征图和所述至少一个候选区域，得到第二特征图，所述第二特征图包括所述至少一个候选区域；/n通过分类网络和回归网络分别处理所述第二特征图，得到至少一个目标的类别得分和边界框信息；/n其中，所述特征提取网络、所述分类网络和所述回归网络中的至少一个包括注意力子网络；/n其中，所述注意力子网络用于：确定在先层，所述在先层为待配置注意力权重的特征图；确定临时层；基于所述在先层和所述临时层，确定注意力权重；将所述在先层和所述注意力权重进行乘积操作，实现对所述在先层增加注意力。/n

【技术特征摘要】
1.一种基于注意力机制的目标检测方法，其特征在于，所述方法包括：
通过特征提取网络提取待检测图像的特征，得到第一特征图；
通过区域生成网络处理所述第一特征图，得到至少一个候选区域；
通过ROI池化网络处理所述第一特征图和所述至少一个候选区域，得到第二特征图，所述第二特征图包括所述至少一个候选区域；
通过分类网络和回归网络分别处理所述第二特征图，得到至少一个目标的类别得分和边界框信息；
其中，所述特征提取网络、所述分类网络和所述回归网络中的至少一个包括注意力子网络；
其中，所述注意力子网络用于：确定在先层，所述在先层为待配置注意力权重的特征图；确定临时层；基于所述在先层和所述临时层，确定注意力权重；将所述在先层和所述注意力权重进行乘积操作，实现对所述在先层增加注意力。


2.根据权利要求1所述的方法，其特征在于，所述确定临时层包括：对所述在先层进行卷积操作得到临时层。


3.根据权利要求1所述的方法，其特征在于，所述特征提取网络提取得到多张尺度不同的第一特征图；
所述确定在先层包括：选择第一尺度的第一特征图为在先层；
所述确定临时层包括：选择第二尺度的第一特征图为临时层；
其中，所述第二尺度小于所述第一尺度。


4.根据权利要求1所述的方法，其特征在于，所述特征提取网络提取得到多张尺度不同的第一特征图；
所述确定在先层包括：选择任一尺度的第一特征图为在先层；
所述确定临时层包括：选择多张第一特征图，通过卷积操作将选择的多张第一特征图合并为临时层；
其中，选择的多张第一特征图的尺度均小于所述在先层的尺度。


5.根据权利要求1所述的方法，其特征在于，所述基于所述在先层和所述临时层，确定注意力权重包括：
将所述在先层和所述临时层进行相加操作；
对所述相加操作得到的特征图进行卷积操作；
对所述卷积操作得到的特征图进行激活操作，得到注意力权重。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述在先层和所述临时层，确定注意力权重之前，所述注意力子网络还用于：
将所述在先层的尺度和所述临时层的尺度进行统一，所述进行统一的方式包括：对尺度较小的层进行上采样，或者，对尺度较大的层进行下采样。


7.一种基于注意力机制的目标检测网络，其特征在于，所述网络包括：
特征提取网络、区域生成网络、ROI池化网络、分类网络和回归网络；
其中，所述特征提取网络、所述分类网络和所述回归网络中的至少一个包括注意力子网络；
其中，所述注意力子网络，用于确定在先层，所述在先层为待配置注意力权重的特征图；确定临时层；基于所述在先层...

【专利技术属性】
技术研发人员：任豪，郭钰，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32