一种基于多头注意力机制的抗遮挡目标检测方法及设备技术

本发明专利技术涉及一种基于多头注意力机制的抗遮挡目标检测方法及设备，方法包括：将所述训练样本输送至初始模型中，通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层；将各个所述特征层以特征金字塔的结构融合，通过注意力机制子网络在所述特征金字塔的每层特征层中添加多头注意力机制，以得到各层特征层的特征响应图和注意力特征图；计算出分类损失值、回归损失值和注意力损失值；计算出整体损失值，利用所述整体损失值对所述初始模型进行训练，以得到目标检测模型；利用所述目标检测模型对待检测图像进行目标检测。本发明专利技术解决了目前无法有效减少遮挡对目标检测的影响的问题。

【技术实现步骤摘要】
一种基于多头注意力机制的抗遮挡目标检测方法及设备
本专利技术涉及图像处理和计算机视觉
，尤其涉及一种基于多头注意力机制的抗遮挡目标检测方法、设备及存储介质。
技术介绍
近年来，在图像领域，卷积神经网络被广泛应用在目标检测、语义分割、行人检测等领域。自从AlexNet大幅度提升了目标检测算法的检测精度之后，Faster-RCNN又舍弃了速度较慢的SelectiveSearch算法，设计了与CNN权值共享的RPN，真正意义上实现了端对端训练。而FCN算法则是利用全卷积的ResNet替代Faster-RCNN常用的VGGNet，将特征图像上的特征点能够与原始输入图片之间构成映射关系，能提升对小目标的检测性能。SSD算法集成了Faster-RCNN算法的检测精度和YOLO算法的检测速度，将RPN网站中的锚点代替单一的网格化分割，使用多尺度特征向量对特征区域进行回归运算。FPN算法沿袭了SSD算法对于特征金字塔的构建基础，但是又将特征金字塔进行top-down连接，使不同尺度的特征图直接相互关联，提取更丰富的特征。FocalLoss提出一种全新结构RetinaNet以解决单阶段目标检测中正负样本比例严重失衡的问题。尽管在目标检测领域中，各种最佳算法在各个数据集中都展现了不俗的检测效果，但是目前的算法的检测精度都会随着遮挡程度的增加而降低，经常会出现的待检测目标之间相互重合或者背景遮住待检测目标的一部分的现象。在遮挡情况下，待检测目标的目标特征不完全，这使得常用的卷积神经网络会误将待检测目标识别为背景或者识别成相邻目标的一部分，从而产生漏检现象。只有解决了遮挡问题的目标检测算法，才能在众多的应用领域中减少安全风险。目前，处理遮挡问题的方法可分为以下3类。(1)多遮挡情形模型集成：这类方法针对不同遮挡情形各自训练模型，然后集成这些模型来检测目标。例如，在基于部分的模型基础上，对检测结果对应的部分可视概率进行建模，然后将检测结果与概率模型进行融合，获得候选框属于目标类别的概率。或者利用深度学习表达特征的能力来训练每个部分的模型，并设计了一个部分池化层来使模型适用于更多遮挡的情形。这类方法的主要缺点在于由于需要训练多个模型，训练和测试时非常耗时。(2)多遮挡情形联合模型：也有学者针对不同的遮挡情形训练联合模型，能加快检测速度。例如设计一个集成特征提取、DPM、抗遮挡和分类能力的深度学习模型，较原来最好算法平均错误率降低了9％。或者采用多标签学习算法来联合训练针对不同遮挡情形的检测器。实验表明，该方法不仅适用于手工设计的特征，也适用于深度学习网络提取特征。这类方法的缺点在于所针对的遮挡情形的是有限的，无法包括所有遮挡情形。(3)通用检测框架的遮挡抑制：此类方法在目标检测网络的基础上通过设计损失和改进网络结构等方式，抑制遮挡对目标检测结果的影响。例如，通过引入Gridloss层分块计算损失，提高每部分的分辨能力进而抑制部分遮挡的情形。或者在采用RepulsionLoss计算检测框的回归损失时，不仅考虑到检测框应该靠近与其IOU最大标定框，还设计了RepulsionLoss使检测框远离其他相交的标定框和其他检测框，提高了算法在密集遮挡情形下的精度。此外，还有采用Soft-NMS算法改进传统的NMS算法，将除最佳检测框之外的所有其他对象的检测分数衰减为与检测框重叠的连续函数。此种方式算法结构复杂，而且智能抑制部分遮挡。因此，现有技术中均无法有效地减少遮挡对目标检测的影响，抗遮挡能力均不佳。
技术实现思路
有鉴于此，有必要提供一种基于多头注意力机制的抗遮挡目标检测方法、设备及存储介质，用以解决目前无法有效减少遮挡对目标检测的影响的问题。第一方面，本专利技术提供一种基于多头注意力机制的抗遮挡目标检测方法，包括如下步骤：获取训练样本，将所述训练样本输送至初始模型中，通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层；将各个所述特征层以特征金字塔的结构融合，通过注意力机制子网络在所述特征金字塔的每层特征层中添加多头注意力机制，以得到各层特征层的特征响应图和注意力特征图；分别通过分类子网络、回归子网络和注意力特征图计算出分类损失值、回归损失值和注意力损失值；根据所述分类损失值、回归损失值和注意力损失值计算出整体损失值，利用所述整体损失值对所述初始模型进行训练，以得到目标检测模型；利用所述目标检测模型对待检测图像进行目标检测，以检测出所述待检测图像中的被遮挡目标信息。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层的方法具体为：通过具有残差结构的RetinaNet特征提取子网络对所述训练样本进行特征提取，并通过FPN的自上而下融合方式得到多个不同尺度的特征层。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述多头注意力机制包含三组注意力特征层，每组注意力特征层由两层包含256个滤波器的3*3卷积层组成。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述注意力特征图的获取方式为：其中，P、V、A分别表示一组注意力特征层，d为所述训练集中的图像的像素宽度。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述分类损失值的计算方法为：其中，lcls,k为第k个检测框的分类损失值，ti为预测分类标签，为实际标签，lcls为分类损失函数。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述回归损失值的计算方法为：其中，是用来限制回归损失只考虑积极锚点的函数，pi是预测框上下角两个点坐标向量，是预测框的实际坐标向量，Lrep是回归损失函数。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述注意力损失值的计算方法为：其中mk是第k个特征层的注意力特征图，是实际的语义分割图，Smoothln为：其中σ为阈值参数。优选的，所述的基于多头注意力机制的抗遮挡目标检测方法中，所述整体损失值的计算方法为：L＝αLcls+βLreg+λLatt，其中，α、β和γ为损失值计算参数，用于均衡所述分类损失值、回归损失值和注意力损失值。第二方面，本专利技术还提供一种基于多头注意力机制的抗遮挡目标检测设备，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上所述的基于多头注意力机制的抗遮挡目标检测方法中的步骤。第三方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于多头注意力机制的抗遮挡目标检测方法中的步骤。【有益效果】本专利技术提供的基于多头注意力机制的抗遮挡目标检测方法、设备及存储介质，在已有的目标检本文档来自技高网...

【技术保护点】
1.一种基于多头注意力机制的抗遮挡目标检测方法，其特征在于，包括如下步骤：/n获取训练样本，将所述训练样本输送至初始模型中，通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层；/n将各个所述特征层以特征金字塔的结构融合，通过注意力机制子网络在所述特征金字塔的每层特征层中添加多头注意力机制，以得到各层特征层的特征响应图和注意力特征图；/n分别通过分类子网络、回归子网络和注意力特征图计算出分类损失值、回归损失值和注意力损失值；/n根据所述分类损失值、回归损失值和注意力损失值计算出整体损失值，利用所述整体损失值对所述初始模型进行训练，以得到目标检测模型；/n利用所述目标检测模型对待检测图像进行目标检测，以检测出所述待检测图像中的被遮挡目标信息。/n

【技术特征摘要】
1.一种基于多头注意力机制的抗遮挡目标检测方法，其特征在于，包括如下步骤：
获取训练样本，将所述训练样本输送至初始模型中，通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层；
将各个所述特征层以特征金字塔的结构融合，通过注意力机制子网络在所述特征金字塔的每层特征层中添加多头注意力机制，以得到各层特征层的特征响应图和注意力特征图；
分别通过分类子网络、回归子网络和注意力特征图计算出分类损失值、回归损失值和注意力损失值；
根据所述分类损失值、回归损失值和注意力损失值计算出整体损失值，利用所述整体损失值对所述初始模型进行训练，以得到目标检测模型；
利用所述目标检测模型对待检测图像进行目标检测，以检测出所述待检测图像中的被遮挡目标信息。


2.根据权利要求1所述的基于多头注意力机制的抗遮挡目标检测方法，其特征在于，所述通过目标提取子网络对所述训练样本中进行特征提取，以得到多个不同尺度的特征层的方法具体为：
通过具有残差结构的RetinaNet特征提取子网络对所述训练样本进行特征提取，并通过FPN的自上而下融合方式得到多个不同尺度的特征层。


3.根据权利要求1所述的基于多头注意力机制的抗遮挡目标检测方法，其特征在于，所述多头注意力机制包含三组注意力特征层，每组注意力特征层由两层包含256个滤波器的3*3卷积层组成。


4.根据权利要求3所述的基于多头注意力机制的抗遮挡目标检测方法，其特征在于，所述注意力特征图的获取方式为：



其中，P、V、A分别表示一组注意力特征层，d为所述训练集中的图像的像素宽度。


5.根据权利要求4所述的基于多头注意力机制的抗遮挡目标检测方法，其...

【专利技术属性】
技术研发人员：石英，毛诗淼，谢长君，张晖，苏涛，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42