轻量级多尺度注意力机制的小物体目标检测方法及系统技术方案

本发明专利技术提供一种轻量级多尺度注意力机制的小物体目标检测方法及系统，方法包括如下步骤：步骤1，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征；步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；步骤3，对步骤2输出的特征图采用Soft

【技术实现步骤摘要】
轻量级多尺度注意力机制的小物体目标检测方法及系统


[0001]本专利技术属于图像处理与计算机视觉
，尤其涉及一种轻量级多尺度注意力机制的小物体目标检测方法及系统。

技术介绍

[0002]近年来，随着基于深度学习的计算机视觉的快速发展，目标检测逐渐成为计算机视觉的一个热门研究方向，被广泛应用于视频监控、工业检测、医疗等诸多领域。利用计算机视觉减少人力物力的消耗具有重要的现实意义。
[0003]目标检测是一项非常基础且重要的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、大小及姿态各有不同，也就是非结构化的输出，这是与图像分类非常不同的一点。
[0004]但在实际场景中，基于深度学习的目标检测对于目标的尺度及变化非常敏感，尤其是对小目标的检测。造成这种现象的原因主要有以下三点：第一，如果被检测的目标尺度较小，那么随着训练网络的加深，被检测的目标很容易会丢失如边缘信息、灰度信息等特征，高级语义信息也会获得的更少，另外在图像中可能会存在一些噪声信息误导训练网络学习到错误的特征；第二，感受野映射到原图的大小也对目标的检测成功与否起到比较重要的作用，当感受野比较小的时候，空间结构特征保留的比较多，但是抽象的语义信息可能较少。反之，感受野较大的时候保留的语义信息相对来说更为丰富，但是目标的空间结构信息可能会存在丢失现象；第三，卷积神经网络对于特征的提取是离散实现的，难以做到亚像素精度。当涉及到小目标时，神经网络在网络深层差一个像素，在浅层就可能差8个像素或16个像素甚至更多，这对大目标影响不大，但是对于小目标影响很大。因此，提高小目标的检测效果并在不降低精度的前提下缩小模型的大小是十分重要的。
[0005]目前，针对小目标的目标检测方法主要有以下几个方向：第一，使用图像金字塔的思路，对输入的被检测图像进行尺度变换，即放大或缩小，在此基础上可以构建出一个从上到下，图像尺度依次递增或递减的图像金字塔，然后使用固定尺寸的窗口在每层图像上滑动检测感兴趣的目标。但是，由于不同分辨率的图像都需要经过卷积神经网络，计算量也就比较大导致检测速度很慢；第二，对图像特征进行融合，可以提升浅层特征的语义信息和深层特征的空间结构信息。但是，由于特征级融合通过提取图像特征作为融合信息，因此会丢掉很多细节性特征；第三，调整锚框的尺度及分布。但是，在实际使用中，通常需要大量的锚框来确保与真实框有足够的重叠，使得只有一小部分锚框会与真实框重叠，这会造成正负锚框之间的巨大不平衡并减慢训练速度。
[0006]现有的研究仅仅能够处理小目标的检测问题，但是提高算法对目标尺度变化的鲁
棒性和实现轻量级小目标检测仍然是目标检测中比较困难的工作。

技术实现思路

[0007]本专利技术的目的在于提供一种轻量级多尺度注意力机制的小物体目标检测方法及系统，在提高小目标检测精度的同时降低了模型的大小，解决现有的研究方法无法将检测精度和轻量级网络共存的问题。
[0008]本专利技术通过以下技术手段解决上述问题：本专利技术第一方面提供了一种基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，包括如下步骤：步骤1，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征；步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；步骤3，对步骤2中获得的对小目标具有鉴别性特征的特征图采用Soft
‑
NMS算法降低与当前最佳检测框重叠的检测框的置信度。
[0009]本专利技术第二方面提供了一种基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测系统，包括：第一特征提取模块，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络进行特征提取；第二特征提取模块，与第一特征提取模块连接，对第一特征提取模块提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；检测输出模块，与第二特征提取模块连接，采用Soft
‑
NMS算法降低第二特征提取模块输出的特征图中检测框与当前最佳检测框重叠的检测框的置信度。
[0010]本专利技术第三方面提供了一种小物体目标检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行所述的基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法。
[0011]本专利技术第四方面提供了一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法。
[0012]与现有的技术相比，本专利技术的有益成果为：本专利技术首先利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征，在保证精度的同时首次对网络进行减重；其次，提供了一种多尺度注意力模块来对网络进行二次减重，并捕获空间和通道两个维度上对小目标图像中具有鉴别性的重要特征，并通过Soft
‑
NMS算法降低与当前最佳检测框重叠的检测框的置信度，仅通过修改极少的参数即能实时、高效、准确地获取图片中的小物体类别，而且对于不同的图像采集设备和不同场景获取的图像，均可采用本专利技术方法来获取图像中小物体类别，具有较强的鲁棒性。
附图说明
[0013]为了更清楚地介绍本专利技术实施案例中的技术方案，下面将对实施案例中所需要使用的附图做简单介绍。显而易见地，如下展示的附图仅为本专利技术的个别案例，对于本领域的研究人员，可以通过对本专利技术的简单复现将此方法应用于不同场景的实时目标检测；图1是本专利技术方法的流程图。
[0014]图2是本专利技术所提及的多尺度注意力模块图。
[0015]图3是本专利技术应用于不同图像检测小物体效果图。
具体实施方式
[0016]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要注意的是，此实施案例仅是本专利技术的一部分实例，而不是全部实例，在未做出创新性工作下所获得的所有其他实例，都属于本专利技术的保护范围。
[0017]实施例1本实施例提出一种基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，包括如下步骤：步骤1，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征；如图1所示，所述的YOLOv4目标检测架构包括：步骤1.1，原始图像经过以GhostNet为主干网络的YOLOv4目标检测架构提取到初步特征；步骤1.2，对提取到的初步特征通过FPN层自顶向下传达强语义特征，再通过PAN结构自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合。
[0018]步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；如图2所示，使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征的具体步骤为：构造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，其特征在于，包括如下步骤：步骤1，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征；步骤2，对步骤1所提取到的特征使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征；步骤3，对步骤2中获得的对小目标具有鉴别性特征的特征图采用Soft
‑
NMS算法降低与当前最佳检测框重叠的检测框的置信度。2.根据权利要求1所述的基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，其特征在于，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络提取特征的具体步骤为：步骤1.1，原始图像经过以GhostNet为主干网络的YOLOv4目标检测架构提取到初步特征；步骤1.2，对提取到的初步特征通过FPN层自顶向下传达强语义特征，再通过PAN结构自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合。3.根据权利要求1所述的基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，其特征在于，使用多尺度注意力模块捕获从空间和通道两个维度上对小目标图像中具有鉴别性的特征的具体步骤为：构造一个空间注意力机制模块和一个通道注意力机制模块；其中，通道注意力机制模块的通道注意力机制通过给n个通道的特征图都增加一个权重来表示该通道的特征图与重要特征的相关性，权重越大，表示该通道的特征图包含较多的重要特征；将构造的空间注意力机制模块和通道注意力机制模块结合，构造多尺度注意力机制；其中，多尺度注意力机制采用4条支路对输入的特征图进行多尺度特征提取，第一条支路使用一个1
×
1的卷积运算，第二条支路使用两个级联的1
×
3卷积运算和3
×
1卷积运算，第三条支路使用两个级联的1
×
5卷积运算和5
×
1卷积运算，第四条支路使用两个级联的3
×
3的最大池化运算和1
×
1的卷积运算；首先，将特征图张量输入到空间注意力机制模块进行计算以添加空间注意力，得到特征图张量，其中w、h、c分别为特征图的宽度、高度和通道数；然后，使用个1
×
1卷积核对特征图张量S进行卷积运算，得到特征图张量；接着，使用多尺度注意力机制的4条支路分别对特征图张量进行多尺度特征提取，得到多尺度的特征图张量、、、；采用Concat操作对特征图张量P1、P2、P3和P4进行特征融合，得到特征图张量；再将特征图张量Q输入到通道注意力机制模块进行计算以添加通道注意力，得到特征图张量；最后采用Add操作对特征图张量S和C进行特征融合，得到特征图张量，作
为多尺度注意力机制的输出。4.根据权利要求1所述的基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测方法，其特征在于，采用Soft
‑
NMS算法降低与当前最佳检测框重叠的检测框的置信度的Soft
‑
NMS算法的衰减公式为：其中，S
i
为置信度，b
i
为检测框，用于调节衰减程度。5.一种基于YOLOv4的轻量级多尺度注意力机制的小物体目标检测系统，其特征在于，包括：第一特征提取模块，利用GhostNet作为YOLOv4目标检测架构的主干特征提取网络进行特征提取；第二特征提取模块，与第一特征提取模块连接，对第一特征提取模块提取到的特征使用多尺度注意力模块中的...

【专利技术属性】
技术研发人员：鲁慧民，马菘哲，王贵增，薛涵，桑鹏程，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：