一种类注意力机制构建方法及目标检测方法技术

本发明专利技术提供了一种类注意力机制构建方法及目标检测方法。所述类注意力机制构建方法：对小特征图上采样并运算得到上采样权值，将上采样权值作用于大特征图得到过渡特征图，对过渡特征图下采样并运算得到下采样权值，将下采样权值作用于小特征图，该方法构建的类注意力机制增强了小特征图的几何信息；所述目标检测方法，将类注意力机制设计成算法模块，嵌入YOLOv3算法中，得到基于类注意力机制的YOLOv3算法，用于目标检测。本发明专利技术的有益效果可包括：改变传统注意力机制算法权值单一问题，提高了注意力效果；利用类注意力机制改进YOLOv3，在浮点运算量和网络复杂度增加不到1%的条件下，检测精度mPA高于同类算法Faster

【技术实现步骤摘要】
一种类注意力机制构建方法及目标检测方法


[0001]本专利技术涉及人工智能领域，具体来讲，涉及图像中的目标检测。

技术介绍

[0002]目标检测的任务是找出图像或视频中的感兴趣目标对象，同时检测出它们的位置和大小。传统目标检测算法主要是将矩形窗口在整张图像上滑动，通过扫描图像来生成多个图像区域，然后从每个区域中提取局部图像特征，再将提取到的特征传递给传统机器学习分类器。虽然这些方法在某些特定场景下能够取得较好检测效果，但实时性较低。同时，特定环境或结构化场景已经不能满足现实需求，因此传统目标检测方法的应用场景非常有限。
[0003]卷积神经网络CNN（Convolutional Neural Network）由于其可映射任意复杂的非线性关系，具有强大的特征提取能力，提升了目标检测的速度和精度，因此基于CNN的目标检测算法已成为检测任务的首选。基于CNN的目标检测算法主要分为三类：（1）基于R
‑
CNN（Region with Convolutional Neural Network）的检测算法，如R
‑
CNN、Fast R
‑
CNN、及Faster R
‑
CNN，由于计算开销大或小目标检测精度低等原因，该类算法未能得到很好的应用。（2）基于SSD（Single Shot Multi Detector）的算法，如SSD、DSSD（Deconvolutional Single Shot Multi Detector），会出现小目标漏检情况。（3）YOLO（You Only Look Once）系列算法包括YOLOv1、YOLOv2和YOLOv3，检测速度和检测精度逐渐提高，尤其是YOLOv3在多个行业得到应用，但在精度要求更高的目标检测任务中，还有待改进。
[0004]在不明显降低检测速度条件下，提出了多种基于CNN的目标检测算法的改进方法，注意力机制是常用改进方法之一。注意力机制类似于人看向某一场景时，不会关注场景中的每个目标对象，而只根据需求聚焦场景中的特定部分，其本质是一种权重参数的分配机制，目的是协助模型捕捉重要信息。典型注意力机制主要有基于位置的注意力机制、通道注意力机制与卷积注意模块等。嵌入注意力机制引入，虽然检测精度有所提高，但由于权值计算方法单一，导致注意力效果有限，因此精度提升幅度仍然无法多数检测任务要求。如Attention
‑
YOLO算法在YOLOv3骨干网络中嵌入注意力机制取得较好的效果，mAP最高达到了81.9%，但仍与现实高精度需求存在偏差。因此有必要提出更有效的方法对现有目标检测算法进行改进。

技术实现思路

[0005]本专利技术的目的在于解决现有注意力机制由于权值较单一，注意力效果有限，导致目标检测精度提升幅度小的问题。
[0006]基于此，为了更好地聚焦图像中有目标存在的区域，重点突目标区域，抑制没有目标的区域，本专利技术提出一种类注意力机制构建方法。类注意力机制构建方法的思路是：将前一个特征图上的几何信息在后一个特征图中强调出来，通过学习，增强有目标部分的特征图权重，抑制没有目标的特征图权重，以降低没有目标部分特征图对目标检测造成的影响，
更有利于目标的检测和定位。类注意力机制的网络结构如图1所示。
[0007]类注意力机制的输入为和，分别对应大特征图和小特征图，，， ，。其中C*、H*、W*分别表示特征图的通道数、高度和宽度。。令，c表示第c个特征通道，表示第c个特征通道上的卷积核参数，表示卷积。整个卷积过程可由下公式(1)表示：(1)在卷积过程中，进行填充补0，使得和的高度和宽度相等。将卷积后的特征图通过Sigmoid函数，再与特征图逐元素相乘再相加，得到特征图，可由如下公式表示：(2)上式中表示逐元素相乘，表示逐元素相加，下同。对进行步长为2的卷积操作，得到特征图，的高和宽为的一半。将通过Sigmoid函数，再与特征图F
B
逐元素相乘和相加，得到可由如下公式表示：(3)最后对经过一次卷积操作，得到输出。
[0008]为了实现上述目的，本专利以轻量级目标检测算法YOLOv3为例，阐述类注意力机制算法与宿主算法的嵌入方法。
[0009]YOLOv3不对原图像中目标所在区域进行预处理，直接将原图和标注进行训练，很大幅度上提升了网络的训练速度和预测速度。该网络模型是全卷积网络，且采用回归算法，进一步提升了该算法的训练和预测速度。
[0010]YOLOv3模型的特征提取骨干网络是DarkNet
‑
53网络。在ImageNet数据集上做分类时，DarkNet
‑
53的性能和ResNet
‑
152相当，但DarkNet
‑
53在网络复杂度和浮点运算量上都远低于ResNet
‑
152。DarkNet
‑
53结构如图2所示。图2中Conv表示卷积层（Convolutional layer），BN表示BatchNorm（批正则化），对数据进行批正则处理，LeakyRelu是激活函数。
LeakyRelu和Relu相比，LeakyRelu保留了部分负信息值。
[0011]YOLOv3的预测结构如图3所示，将特征提取网络的后三个不同尺寸的特征图用于目标检测，图3中n
×
c
×
13
×
13，n表示batchsize（批的样本数），c表示通道数，13和13分别表示特征图的高和宽。Conv表示卷积层，对特征图进行卷积操作，Concat表示将两条支路上的特征图在c维度上进行堆叠。通过Concat操作后，对特征图进行卷积操作，将Concat后的通道数c调整为原通道数（256,512,1024）。此时得到的特征图融合了不同大小特征图的特征和不同强度的语义特征，更有利于目标的检测、定位和分类。三个不同大小的特征图中，13
×
13的特征图用来检测和定位大目标，26
×
26的特征图用来检测和定位中等大小目标，52
×
52的特征图用来定位和检测小目标。
[0012]类注意力机制模块可嵌在任意两个或多个卷积操作之后，其输入为两个特征图。向YOLOv3中嵌入类注意力模块，分别在DarkNet
‑
53的第一个模块和第二个模块之后嵌入类注意力模块，得到基于类注意力机制的YOLO算法，如图4所示。其中第一个类注意力模块的输入分别为DarkNet
‑
53的第一个模块的Conv(3,1,1)的输出和Conv(3,2,1)的输出，Conv(3,1,1)的输出对应图1的，Conv(3,2,1)的输出对应图1中的。第二个类注意力模块的输入分别为第一个类注意力模块的输出和DarkNet
‑
53的第二个模块Conv(3,2,1)的输出，分别对应图1中的和。
[0013]YOLOv3将DarkNet
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类注意力机制构建方法，其特征在于：对小特征图上采样并进行运算得到上采样权值，作用于大特征图得到过渡特征图，对过渡特征图下采样并进行运算得到下采样权值，将下采样权值作用于小特征图，该方法构建的类注意力机制增强了小特征图的几何信息；所述构建的类注意力机制的输入为不同大小分辨率的特征图；所述小特征图是分辨率较小的特征图；所述大特征图是分辨率较大的特征图；所述对小特征图上采样是对小特征图补0填充后卷积（卷积核大小为3，步长1），得到上采样特征图；所述进行运算得到上采样权值是利用Sigmoid函数对上采样特征图进行计算，得到上采样权值；所述作用于大特征图得到过渡特征图是将上采样权值与大特征图逐元素相乘再相加，得到过渡特征图；所述对过渡特征图下采样是对过渡特征图卷积（卷积核大小为3，步长2），得到下采样特征图；所述进行运算得到下采样权值是利用Sigmoid函数对下采样特征图进行计算，得到下采样权值；所述将下采样权值作用于小特征图是将下采样权值与小特征图逐元素相乘再相加。2.目标检测方法，其特征在于，将权利要求1中所述构建的类注意力机制设计成算法模块，嵌入YOLOv3算法中，得到基于类注意力机制的YOLOv3算法，并用于目标检测；所述将构建的类注意力机制设计成算法模块是用Python语言，将类注意力机制编写成程序模块；所述嵌入YOLOv3算法中，得到基于类注意力机制的YOLOv3算法，是将程序模块分别嵌入到宿主算法YOLOv3骨干网络DarkNet
‑
53的第一个模块和第二个模块之后；所述用于目标检测包括以下步骤：S1、用训练数据集对基于类注意力机制的YOLOv3算法进行模型训练，得到模型参数；S2、加载模型参数，用测试数据集进行测试；基于类注意力机制的YOLOv3算法进行模型训练包括以下步骤：S101、设置初始学习率α=0.001，动量参数momentum=0.9，权重衰减系数γ=0.0005，每批图像数batchsize=4，交并比IOU（Intersection
‑
over
‑
...

【专利技术属性】
技术研发人员：李自胜，胡朝海，肖晓萍，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：