一种结合轻量化网络的目标检测方法技术

本发明专利技术提供一种结合轻量化网络的目标检测方法，旨在解决UAV这种小目标检测速度和精度的权衡问题，还实现了网络模型的轻量化，为实现嵌入式平台上的目标检测提供了可能。根据无人机具有体积小，飞行速度快等特点，本发明专利技术提出了一种结合轻量化网络改进的快速目标检测算法。对三个特征尺度进行检测的YOLOv3算法扩展为五个特征尺度来检测，提高了无人机等小目标场景的检测性能。结合轻量化网络中的Ghost模块构建了轻量的特征提取网络，为了进一步提升网络的检测性能，加入通道注意力机制抑制了不利的信息。本发明专利技术中生成了一个城市背景的UAV数据集用于训练。实验结果表明，本发明专利技术提出的方法能有效提高UAV在复杂城市背景下的检测精度和满足实时性要求。

【技术实现步骤摘要】
一种结合轻量化网络的目标检测方法
本专利技术涉及深度学习、目标检测领域，具体涉及一种结合轻量化网络的目标检测方法。
技术介绍
随着科学技术的发展，各种无人机相继出现，其中民用无人机发展迅速，广泛应用于各个领域，无人机的应用能大幅度降低高空作业的成本，在监视和拍摄等领域有着独特的优势，无人机技术在给人民生活带来方便的同时也给国家和社会带来了很多潜在的威胁，比如，近年来，很多的无人机事故造成了飞机无法起飞或者被迫逼停的情况，无人机的监管成为了社会关注的焦点。无人机具有体积小，飞行速度快、旋转性高等特点，传统目标检测方法难以达到要求，基于深度神经网络的目标检测方法展现了其强大的检测性能。近年来深度学习的高速发展为目标检测算法注入了新的血液，自从AlexNet在2012年的ImageNet大赛中轻松夺冠以来，各种基于深度神经网络的目标检测算法层出不穷，并取得了令人惊叹的优异成绩。我们可将基于深度卷积神经网络的目标检测算法大致分为两类，一类是基于锚点(Anchorbased)的目标检测算法，另一类是没有锚点(AnchorFree)的方法。基于Anchorbased的方法会以锚点为中心先生成大量的候选目标框，然后计算每一候选框包含目标的概率，这种方式会产生一定的计算复杂度，还会产生正负例样本不均衡的情况，这一类代表性方法有RCNN、Faster-RCNN两阶段的算法和YOLOv3、SSD系列等的一阶段算法。AnchorFree的方法则省略了生成候选框的步骤，直接预测和回归得到目标框的位置，这大大减少了计算量，这种方法简单且高效，并且也在近两年之内逐渐发展为一种主流。比如有CornerNet、CenterNet、FCOS和EfficientDet等。尽管很多算法都在检测准确性和实时性上做出了重大的改进，但还是存在很大的不足，并没有真正做到速度和精度的权衡，在边缘端部署和嵌入式平台上运作的实际应用中还有很大的升值空间，结合轻量化网络能够在保证精度不会下降的同时，大大减少计算量，这也为基于深度学习的目标检测算法实现工程落地提供了可能。无人机具有体积小，飞行速度快等特点，这给无人机的检测和监管工作带来了一定的挑战，针对这一问题，本专利技术提出了一种结合轻量化网络改进的快速目标检测方法。首先，将原本在三个特征尺度进行检测的YOLOv3算法扩展为五个特征尺度来检测，提高了无人机等小目标场景的检测性能。其次，五个特征尺度进行检测带来了略微计算量的增加，结合轻量化网络中的Ghost模块构建了轻量的特征提取网络，应用一系列线性变换等廉价操作以较少的参数生成更多的特征图，大大减少了计算量。为了进一步提升网络的检测性能，加入通道注意力机制抑制了不利的信息。另外，在本专利技术中制作了一个基于城市背景的UAV数据集，用于训练和测试。实验结果表明，本专利技术提出的改进方法能有效提高UAVs在复杂城市背景下的检测精度和满足实时性要求，实现了目标检测算法轻量化，为实现嵌入式平台上的目标检测提供了可能。
技术实现思路
本专利技术要解决的技术问题是：提供了一种结合轻量化网络的目标检测方法，以解决无人机的检测和监管工作具有很大难度的问题，实验证明本专利技术提出的方法能有效提高UAVs在复杂城市背景下的检测精度和满足实时性要求，实现了目标检测算法轻量化，为实现嵌入式平台上的目标检测提供了可能。本专利技术采用的技术方案如下：一种结合轻量化网络的目标检测方法，该方法步骤为：步骤1、生成数据集：首先获得一组包含当前市场上各种常见的UAV图像，与提前已经采集好的复杂城市背景图像简单进行相加操作，并记录下无人机所在的位置作为标签，这样就得到了复杂城市背景下的无人机图像，将其划分为训练集和测试集；步骤2、数据预处理：为了使得图像更加符合格式要求和使样本多样性，对训练数据集进行图像增强操作，主要包括水平翻转和几何变化；步骤3、构建基于轻量化网络的多尺度特征检测网络，网络框架主要包含了Ghostbackbone、Neck和Prediction三个部分，Ghostbackbone部分采用一系列的Ghostbottleneck堆叠而成，Neck部分就是一个完整的FPN形式，包含了五个特征尺度，Prediction部分根据设置的Anchor在各层级特征图上对目标进行预测；步骤4、设计基于轻量化网络的多尺度特征检测网络的损失函数：采用FocalLoss通过赋予正负例样本不同权重的方法指导模型的训练，在五个特征尺度预测计算损失，总损失为五个特征尺度损失之和，使用Adam优化器对网络进行学习优化；步骤5、根据设置的损失函数指导模型训练，使用步骤1中得到的训练集来训练网络直到收敛，记录并保存最好的模型权重，获得最优的网络模型；步骤6、多目标检测：利用基于轻量化网络的多尺度特征检测网络进行目标检测，加载已经保存的最优网络模型权重，使用步骤1中得到的测试集进行测试。进一步地，步骤1数据获取过程为首先获得一组包含当前市场上各种常见的UAV图像，通过对其进行旋转、尺度缩放等操作后与提前已经采集好的复杂城市背景图像简单进行相加，并记录下无人机所在的位置作为标签，这样就得到了复杂城市背景下的无人机图像，划分为训练集和测试集，生成的训练集共有12100张，其中每张图像都包含了16个姿态、类型和大小不同的无人机，图像的大小为416×416，测试集有1210张，每张图像都包含了8个姿态、类型和大小不同的无人机。进一步地，步骤2数据预处理中采用图像增强方法中对训练集进行了数据多样化增强，包含随机水平翻转(RandomHorizontalFlip)，几何变化(GeometricTransform)，原本的训练集12100张，通过数据增强等手段可高达20万的数据量。进一步地，步骤3构建基于轻量化网络的多尺度特征检测网络，网络框架主要包含了Ghostbackbone、Neck和Prediction三个部分，Ghostbackbone部分采用一系列的Ghostbottleneck堆叠而成，具体为先后通过1个卷积层(Convolution)，2个Ghostbottleneck，3个Ghostbottleneck，9个Ghostbottleneck，9个Ghostbottleneck和5个Ghostbottleneck，然后分别会对应生成{208×208,104×104,52×52,26×26,13×13}五个尺度大小的特征图，Neck部分就是一个完整的FPN形式，将原本的YOLOv3中三个特征尺度扩展为五个特征尺度，具体包含了4个卷积层(Convolution)，4个上采样层(最邻近上采样)和四个add操作，将高层的特征与低层特征相互融合充分利用多尺度信息，Prediction部分根据设置的Anchor在各层级特征图上对目标进行预测，具体为每个层级的特征图会先后通过两个卷积层，第1个卷积层后面紧跟着1个批归一化层和1个LeakyReLU层。进一步地，步骤4中考虑正负例样本不均衡的情况，采用FocalLoss通过赋予正负例样本不同权重的方法指导模型的训练，在五个特征本文档来自技高网...

【技术保护点】
1.一种结合轻量化网络的目标检测方法，其特征在于，包括以下的步骤：/n步骤1、生成数据集：首先获得一组包含当前市场上各种常见的UAV图像，与提前已经采集好的复杂城市背景图像简单进行相加操作，并记录下无人机所在的位置作为标签，这样就得到了复杂城市背景下的无人机图像，划分为训练集和测试集；/n步骤2、数据预处理：为了使得图像更加符合格式要求和使样本多样性，对训练数据集进行图像增强操作，包括水平翻转和几何变化；/n步骤3、构建基于轻量化网络的多尺度特征检测网络，网络框架主要包含了幽灵网络骨干部分(Ghost backbone)、颈部部分(Neck)和预测部分(Prediction)三个部分，幽灵网络骨干部分(Ghost backbone)部分采用一系列的幽灵网络骨干部分(Ghost bottleneck)堆叠而成，颈部部分(Neck)部分就是一个完整的特征金字塔(FPN)形式，包含了五个特征尺度，预测部分(Prediction)部分根据设置的锚点(Anchor)在各层级特征图上对目标进行预测；/n步骤4、设计基于轻量化网络的多尺度特征检测网络的损失函数：采用Focal Loss通过赋予正负例样本不同权重的方法指导模型的训练，在五个特征尺度预测计算损失，总损失为五个特征尺度损失之和，使用Adam优化器对网络进行学习优化；/n步骤5、根据设置的损失函数指导模型训练，使用步骤1中得到的训练集进行训练网络直到收敛，记录并保存最小损失的模型权重，获得最优的网络模型；/n步骤6、多目标检测：利用基于轻量化网络的多尺度特征检测网络进行目标检测，加载已经保存的最优网络模型权重，使用步骤1中得到的测试集进行测试。/n...

【技术特征摘要】
1.一种结合轻量化网络的目标检测方法，其特征在于，包括以下的步骤：
步骤1、生成数据集：首先获得一组包含当前市场上各种常见的UAV图像，与提前已经采集好的复杂城市背景图像简单进行相加操作，并记录下无人机所在的位置作为标签，这样就得到了复杂城市背景下的无人机图像，划分为训练集和测试集；
步骤2、数据预处理：为了使得图像更加符合格式要求和使样本多样性，对训练数据集进行图像增强操作，包括水平翻转和几何变化；
步骤3、构建基于轻量化网络的多尺度特征检测网络，网络框架主要包含了幽灵网络骨干部分(Ghostbackbone)、颈部部分(Neck)和预测部分(Prediction)三个部分，幽灵网络骨干部分(Ghostbackbone)部分采用一系列的幽灵网络骨干部分(Ghostbottleneck)堆叠而成，颈部部分(Neck)部分就是一个完整的特征金字塔(FPN)形式，包含了五个特征尺度，预测部分(Prediction)部分根据设置的锚点(Anchor)在各层级特征图上对目标进行预测；
步骤4、设计基于轻量化网络的多尺度特征检测网络的损失函数：采用FocalLoss通过赋予正负例样本不同权重的方法指导模型的训练，在五个特征尺度预测计算损失，总损失为五个特征尺度损失之和，使用Adam优化器对网络进行学习优化；
步骤5、根据设置的损失函数指导模型训练，使用步骤1中得到的训练集进行训练网络直到收敛，记录并保存最小损失的模型权重，获得最优的网络模型；
步骤6、多目标检测：利用基于轻量化网络的多尺度特征检测网络进行目标检测，加载已经保存的最优网络模型权重，使用步骤1中得到的测试集进行测试。


2.根据权利要求1所述的一种结合轻量化网络的目标检测方法，其特征在于，步骤1数据获取过程为首先获得一组包含当前市场上各种常见的UAV图像，通过对其进行旋转、尺度缩放等操作后与提前已经采集好的复杂城市背景图像简单进行相加，并记录下无人机所在的位置作为标签，这样就得到了复杂城市背景下的无人机图像，划分为训练集和测试集，生成的训练集共有12100张，其中每张图像都包含了16个姿态、类型和大小不同的无人机，图像的大小为416×416，测试集有1210张，每张图像都包含了8个姿态、类型和大小不同的无人机。


3.根据权利要求1所述的一种结合轻量化网络的目标检测方法，其特征在于，步骤2数据预处理中采用图像增强方法中对训练集进行了...

【专利技术属性】
技术研发人员：毛耀，李鸿，杨锦辉，彭锦锦，胡钦涛，刘超，杜芸彦，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：四川;51