基于改进SSD网络的针对小目标的目标检测方法技术

本发明专利技术公开一种基于改进SSD网络的针对小目标的目标检测方法，该方法将原始SSD网络的backbone改为有利于小目标物体特征提取的ResNet

【技术实现步骤摘要】
基于改进SSD网络的针对小目标的目标检测方法


[0001]本专利技术涉及目标检测的
，尤其是指一种基于改进SSD网络的针对小目标的目标检测方法。

技术介绍

[0002]小目标检测长期以来是计算机视觉中的一个难点和研究热点。小目标物体是在图片中所占据的像素点极少的物体，如在以物体检测领域的通用数据集COCO物体定义为例，小目标是指小于32
×
32个像素点(中物体是指32*32
‑
96*96，大物体是指大于96*96)。
[0003]小目标物体识别的困难之处在于原始图片中提供的语义信息太少，导致网络很难学习到小目标物体的特征信息。现在的目标检测算法大多采用特征融合的方法来提高小目标的检测精度。其主要原因是低层特征图语义信息相对稀缺但能准确地呈现目标位置，而高层特征图语义信息丰富但不准确，将两者结合可以很好地提高小目标物体的识别准确率。
[0004]尽管采取了很多措施，但是目前小目标物体的识别准确率还是较低。且目前大部分基于SSD的目标识别网络并未考虑到加入Attention模块，亦或者其结构还有可以改进的地方。如和超分辨率等其它图像处理方面领域结合不够等。
[0005]超分辨率复原是图像处理中的一个热门领域，其可以有效地从低分辨率图像中还原出高分辨率图像，这一特性可以很好地与小目标物体检测领域结合起来，有效解决小目标物体检测领域中的重点问题，即小目标物体在特征图中所占的分辨率过小，包含的语义信息过少的问题。
[0006]因此，提出一种结合超分辨率领域和Attention机制的目标检测方法具有现实意义。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于改进SSD网络的针对小目标的目标检测方法，引入了FTT模块、Attention模块、特征融合模块，有效地利用了多尺度的特征融合，有助于提高针对小目标物体的识别准确率。除此之外还将最后一个特征层conv11_2抛弃，更好地针对小目标物体识别。该方法创新地改进了SSD网络，使得改进后的SSD网络对小目标物体的识别精度更高。
[0008]为实现上述目的，本专利技术所提供的技术方案为：基于改进SSD网络的针对小目标的目标检测方法，该改进SSD网络是对原SSD网络进行了四部分改进，第一部分是构建了用于超分辨率还原的FTT模块并融合进SSD网络中，以提高特征层的分辨率大小；第二部分是构建了Attention模块来增加网络的特征提取能力；第三部分是使用了特征融合模块来增加网络多尺度信息融合能力，将经过Attention模块和FTT模块处理后的输出进行特征融合；第四部分是对原SSD网络结构的改进，具体是将SSD网络所用的backbone网络更改为ResNet
‑
101，以更好地提取小目标特征，除此之外还将SSD网络所提取的最后一个特征层抛
弃，这是因为最后一个特征层分辨率很小，不包含小目标物体信息，还会提供错误位置信息；
[0009]该目标检测方法的具体实施步骤如下：
[0010]1)收集图像进行物体标注，建立数据集，将数据集分为训练集、测试集、验证集，最后将数据集转换为XML格式；
[0011]2)构建SSD网络及其所需的Attetion模块、FTT模块和特征融合模块，修改SSD网络结构，将其backbone网络更改为ResNet
‑
101，再将构建的Attetion模块、FTT模块和特征融合模块融入修改结构后的SSD网络，同时将SSD网络的最后一个特征层conv11_2抛弃，得到最终的SSD网络，即改进SSD网络；
[0012]3)使用训练集和验证集对改进SSD网络进行训练和验证，迭代进行至验证集的总损失达到最小的状态，得到经训练和验证后的最优网络；
[0013]4)将测试集中的图像送入步骤3)得到的最优网络中进行测试，并设置相应的分数阈值，得到高于分数阈值的检测目标，而低于分数阈值的目标将不显示。
[0014]进一步，在步骤1)中，使用工业摄像头采集数据，将采集到的数据分为训练集、测试集、验证集；然后通过在线工具或者离线工具进行标注，主要是设置预选框，将要检测的物体通过预选框包围起来，标注完成后将数据集输出为XML格式数据集。
[0015]进一步，在步骤2)中，将SSD网络的backbone网络更改为ResNet
‑
101，ResNet
‑
101由六个layer组成，分别为layer1、layer2、layer3、layer4、layer5、layer6；其中layer1为一个7
×
7、卷积核个数为64、stride＝2的卷积层，layer1的输出经过一个3
×
3的max pooling层后的输出，再经过剩下五个layer，得到最终的输出特征图；layer2、layer3、layer4、layer5、layer6都是由多个卷积层和残差结构组成，得到ResNer
‑
101的输出后，与原SSD网络一样，添加额外的特征提取层Conv6、Conv7、Conv8、Conv9用于提取出不同尺度的特征。
[0016]进一步，在步骤2)中，需要构建用于对小特征层超分辨率复原的FTT模块和基于注意力机制的Attention模块，并将两个模块融合到SSD网络中，FTT模块和Attention模块的具体结构如下：
[0017]FTT模块的作用是对输入的特征进行超分辨率复原操作，得到更高分辨率的特征图，其有两个输入，第一个输入是帮助恢复细节部分的参考特征图P
ref
，P
ref
的分辨率和目标特征图的分辨率相同，其作用是帮助恢复特征图中的细节纹理部分；另一个输入是需要增大分辨率的低分辨率特征图P
low
，P
low
在输入后，先经过一个Content Extrator模块进行粗略信息提取，Content Extrator模块是由多个Conv层、BN层以及Relu层堆叠而成，其能够提取超分辨率复原中所需的物体轮廓信息，在经过Content Extrator模块处理后，还需要进行一个亚像素卷积操作，将分辨率提高至和P
ref
相同；
[0018]在经过上述步骤，得到与P
ref
相同分辨率的输出后，将得到的输出分为两个分支，其中一个分支与P
ref
进行拼接，将拼接后的特征图输入进Texture Extrator模块中，进行特征图中细节纹理部分的特征提取，Texture Extrator模块是由多个Conv层、BN层以及Relu层堆叠而成，其作用是提取超分辨率复原中所需的细节纹理信息；
[0019]得到Texture Extrator模块的输出后，将其与之前亚像素卷积后的另一个分支输出进行一个矩阵相加操作，形成一个残差结构，FTT模块总体公式如下：
[0020]Out
FTT本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进SSD网络的针对小目标的目标检测方法，其特征在于，该改进SSD网络是对原SSD网络进行了四部分改进，第一部分是构建了用于超分辨率还原的FTT模块并融合进SSD网络中，以提高特征层的分辨率大小；第二部分是构建了Attention模块来增加网络的特征提取能力；第三部分是使用了特征融合模块来增加网络多尺度信息融合能力，将经过Attention模块和FTT模块处理后的输出进行特征融合；第四部分是对原SSD网络结构的改进，具体是将SSD网络所用的backbone网络更改为ResNet
‑
101，以更好地提取小目标特征，除此之外还将SSD网络所提取的最后一个特征层抛弃，这是因为最后一个特征层分辨率很小，不包含小目标物体信息，还会提供错误位置信息；该目标检测方法的具体实施步骤如下：1)收集图像进行物体标注，建立数据集，将数据集分为训练集、测试集、验证集，最后将数据集转换为XML格式；2)构建SSD网络及其所需的Attetion模块、FTT模块和特征融合模块，修改SSD网络结构，将其backbone网络更改为ResNet
‑
101，再将构建的Attetion模块、FTT模块和特征融合模块融入修改结构后的SSD网络，同时将SSD网络的最后一个特征层conv11_2抛弃，得到最终的SSD网络，即改进SSD网络；3)使用训练集和验证集对改进SSD网络进行训练和验证，迭代进行至验证集的总损失达到最小的状态，得到经训练和验证后的最优网络；4)将测试集中的图像送入步骤3)得到的最优网络中进行测试，并设置相应的分数阈值，得到高于分数阈值的检测目标，而低于分数阈值的目标将不显示。2.根据权利要求1所述的基于改进SSD网络的针对小目标的目标检测方法，其特征在于，在步骤1)中，使用工业摄像头采集数据，将采集到的数据分为训练集、测试集、验证集；然后通过在线工具或者离线工具进行标注，主要是设置预选框，将要检测的物体通过预选框包围起来，标注完成后将数据集输出为XML格式数据集。3.根据权利要求1所述的基于改进SSD网络的针对小目标的目标检测方法，其特征在于，在步骤2)中，将SSD网络的backbone网络更改为ResNet
‑
101，ResNet
‑
101由六个layer组成，分别为layer1、layer2、layer3、layer4、layer5、layer6；其中layer1为一个7
×
7、卷积核个数为64、stride＝2的卷积层，layer1的输出经过一个3
×
3的max pooling层后的输出，再经过剩下五个layer，得到最终的输出特征图；layer2、layer3、layer4、layer5、layer6都是由多个卷积层和残差结构组成，得到ResNer
‑
101的输出后，与原SSD网络一样，添加额外的特征提取层Conv6、Conv7、Conv8、Conv9用于提取出不同尺度的特征。4.根据权利要求3所述的基于改进SSD网络的针对小目标的目标检测方法，其特征在于，在步骤2)中，需要构建用于对小特征层超分辨率复原的FTT模块和基于注意力机制的Attention模块，并将两个模块融合到SSD网络中，FTT模块和Attention模块的具体结构如下：FTT模块的作用是对输入的特征进行超分辨率复原操作，得到更高分辨率的特征图，其有两个输入，第一个输入是帮助恢复细节部分的参考特征图P
ref
，P
ref
的分辨率和目标特征图的分辨率相同，其作用是帮助恢复特征图中的细节纹理部分；另一个输入是需要增大分辨率的低分辨率特征图P
low
，P
low
在输入后，先经过一个Content Extrator模块进行粗略信息提取，Content Extrator模块是由多个Conv层、BN层以及Relu层堆叠而成，其能够提取超
分辨率复原中所需的物体轮廓信息，在经过ContentExtrator模块处理后，还需要进行一个亚像素卷积操作，将分辨率提高至和P
ref
相同；在经过上述步骤，得到与P
ref
相同分辨率的输出后，将得到的输出分为两个分支，其中一个分支与P
ref
进行拼接，将拼接后的特征图输入进TextureExtrator模块中，进行特征图中细节纹理部分的特征提取，TextureExtrator模块是由多个Conv层、BN层以及Relu层堆叠而成，其作用是提取超分辨率复原中所需的细节纹理信息；得到TextureExtrator模块的输出后，将其与之前亚像素卷积后的另一个分支输出进行一个矩阵相加操作，形成一个残差结构，FTT模块总体公式如下：Out
FTT
＝E
t
(P
ref
||E
c
(P
low
)
↑2×
)+E
c
(P
low
)
...

【专利技术属性】
技术研发人员：郑宏维，肖南峰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：