一种基于深度学习的小目标检测网络逐层训练方法技术

本发明专利技术公开了一种基于深度学习的小目标检测网络逐层训练方法，包括小目标检测深度学习网络搭建；检测网络骨架部分采用图像识别数据集进行预训练；检测网络采用目标检测数据集进行整体训练；采用识别与检测平衡的损失函数进行训练；用逐层冻结方法使用小目标数据集对检测网络进行微调等步骤。其显著效果是：不仅提高了基于深度学习的目标检测网络对于小目标检测的召回率和精度；并且实现了已训练网络特定性能的稳定逐步提升。

A layer by layer training method of small target detection network based on deep learning

【技术实现步骤摘要】
一种基于深度学习的小目标检测网络逐层训练方法
本专利技术涉及图像目标检测的
，具体涉及一种基于深度学习的小目标检测网络逐层训练方法。
技术介绍
图像目标检测(也称对象检测)是从图像中定位并识别特定类别的物体的方法，是机器自动化处理中重要的一环，其作用在于定位待查找目标的位置并识别目标类别以辅助机器进行进一步处理，目标检测方法广泛应用于医学、交通、互联网、数据统计、军事等领域，成功实现自动相机聚焦、人脸检测、车辆检测、无人机检测、楼房检测等。由于检测目标尺寸的多样性，小目标检测作为目标检测中的一环有着同样重要的现实需求。不仅如此，小目标检测在远距离目标图像、大视场目标图像、目标密集图像等常见图像中比重大、精度需求高，因此其精度决定了总体目标检测精度，如遥感影像目标检测、无人机航拍目标检测、行人目标检测。除此之外，重要特殊目标检测也多为小目标检测，如交通标志、车牌检测识别等。普通相机拍摄图像中也常常出现小目标，比如风景照中的鸟类、远处的飞机、桌面上的水杯等等。由此可见，小目标检测不仅仅是目标检测研究的一部分，更是目标检测中极为广泛和重要的一部分。在目标检测需求的推动下，目标检测方法逐步发展，在深度学习方法提出之前，传统的目标检测方法通过区域选择、特征提取与分类器对目标进行分类，但由于传统方法区域选择中滑窗选择策略没有针对性、耗时长、窗口冗余，特征鲁棒性差且操作过程复杂，因此很多情况下不如深度学习的目标检测方法效果好，自2014年R-CNN算法在VOC2010测试集上以53.7％的均值平均精度(mAP)全面超过传统方法检测精度，深度学习的目标检测方法相比传统方法开始展现出巨大的优势，自此通用目标检测领域内，深度学习方法效果一直远远超过其他方法。而后传统方法的小目标检测研究主要集中于对几乎不包含特征的小目标进行检测，且不能够识别小目标的具体类别，多为限定背景下的检测，不具有通用性。因此，基于工程对目标定位识别的需求，以及环境的可变性，本课题对深度学习的检测方法进行研究。由于每次通用检测方法的革新对于所有尺寸目标识别都有一定程度的提升，因此通用小目标检测通常作为通用目标检测的一部分进行研究，并与通用目标检测方法一同革新，而非单独进行研究。而特殊的小目标研究，如特小目标(基本不存在纹理特征的目标)、特殊目标(如车牌、行人等)，针对其小目标的特殊性和统一性，学者进行了单独的研究。本次研究定位于通用小目标检测，主要针对一般图像中存在的常见小目标检测方法进行研究。目前基于深度学习的目标检测方法已经取得了显著的成功，在VOC2012数据集上，只使用VOC2012训练精度已经达到82.4％均值平均精度(mAP)，多数据集训练精度已经达到92.3％均值平均精度(mAP)。VOC2012数据集大部分图像较清晰、目标较大、光线较好、识别类别总数少，因此图片质量高、检测难度低。相比之下，MSCOCO数据集类别总数更多，图片环境相对复杂，内容较丰富。目前在MSCOCO数据集的小目标识别精度上，同样是深度学习方法效果更优，但COCO数据集上小目标检测精度仍有较大提升空间。小目标由于其分辨率低、图像模糊、携带信息少、在图像中比重小导致特征能力表达弱、检测难度高，因此无论是传统方法还是深度学习方法进行小目标检测时效果都不理想。而传统方法由于需要滑窗进行特征提取和匹配，存在单一性、计算复杂且适用性较弱。对比先有检测方法的效果，传统方法检测精度和速度不如深度学习方法。而深度学习方法中，由于训练时类别不平衡、深度网络丢失特征等原因导致检测精度较低，因此仍需对网络结构、损失函数、数据增强等方面进行研究以加强小目标检测的效果。由于通用小目标检测方法中深度学习方法远远领先其他方法，因此本次研究重点对深度学习方法进行研究改进。虽然深度学习方法领先于其他方法，但仍不能完全满足实际需求，小目标检测精度仍不到50均值平均精度(mAP)，在检测精度超过40均值平均精度(mAP)的情况下检测速度无法达到20帧每秒(FPS)，即无法满足实时要求，因此仍需对小目标检测方法进行进一步的研究改进。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种基于深度学习的小目标检测网络逐层训练方法，能够实现对目标检测网络进一步的训练优化，提高网络对小目标检测的精度和召回率，实现更高的小目标检测准确率。为达到上述目的，本专利技术采用的技术方案如下：一种基于深度学习的小目标检测网络逐层训练方法，包括如下步骤：步骤1：搭建深度学习的小目标检测网络；步骤2：检测网络骨架部分采用图像识别数据集进行预训练；步骤3：检测网络采用目标检测数据集进行整体训练；步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。进一步地，步骤1中所述小目标检测网络搭建过程如下：步骤1.1：根据需求采用残差网络ResNet50或ResNet101搭建网络骨架，其中ResNet50速度更快而使得最终网络检测精度更低，ResNet101速度慢但最终网络检测精度更高；步骤1.2：搭建区域生成网络，在骨架网络的多层特征图上预设候选框，并作为区域生成网络的输入；步骤1.3：在骨架与区域生成网络后并行搭建目标定位网络与目标识别网络。进一步地，步骤2中所述检测网络骨架预训练过程如下：步骤2.1：提取网络的骨架部分；步骤2.2：使用图像识别数据集训练网络的骨架部分；步骤2.3：记录训练过程中网络对验证集图像识别的正确率，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络骨架部分权重。进一步地，步骤3中所述检测网络整体训练过程如下：步骤3.1：使用目标检测数据集训练网络，该网络骨架部分权重为预训练的骨架权重，其他部分初始化为随机权重；步骤3.2：记录训练过程中网络对验证集目标检测的精度，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络的权重。进一步地，步骤5中所述的用目标检测数据集中的小目标对检测网络进行逐层冻结微调的方法为：步骤5.1：处理目标检测数据集的标注文件，提取其中的小目标对应的标注信息，去除其他目标的检测信息；步骤5.2：使用修改后标注文件以及对应的小目标数据集对目标检测网络进行训练；步骤5.3：冻结已训练的目标检测网络的前四层，使用指定数据集训练其他层权重；步骤5.4：冻结已训练的目标检测网络的前三层，使用指定数据集训练其他层权重；步骤5.5：冻结已训练的目标检测网络的前两层，使用指定数据集训练其他层权重；步骤5.6：保留最后所得权重，作为网络最终的权重。更进一步地，所述的训练过程中使用的损失函数为Loss＝Wcls·Lcls+Wbox·Lbox，其中Wcls取2，Wbox取1。进一步地，所述的判断目标检测网络收敛方法为：记录训练过程本文档来自技高网...

【技术保护点】
1.一种基于深度学习的小目标检测网络逐层训练方法，其特征在于，包括如下步骤：/n步骤1：搭建深度学习的目标检测网络；/n步骤2：检测网络骨架部分采用图像识别数据集进行预训练；/n步骤3：检测网络采用目标检测数据集进行整体训练；/n步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；/n步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；/n步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。/n

【技术特征摘要】
1.一种基于深度学习的小目标检测网络逐层训练方法，其特征在于，包括如下步骤：
步骤1：搭建深度学习的目标检测网络；
步骤2：检测网络骨架部分采用图像识别数据集进行预训练；
步骤3：检测网络采用目标检测数据集进行整体训练；
步骤4：修改损失函数，使得训练过程中识别与检测的训练更平衡；
步骤5：采用逐层冻结方法，用目标检测数据集中的小目标对检测网络进行微调；
步骤6：重复训练使得网络收敛，所得网络权重为最终所需小目标检测网络权重。


2.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤1中所述目标检测网络搭建过程如下：
步骤1.1：根据需求采用残差网络ResNet50或ResNet101搭建网络骨架，其中ResNet50速度更快而使得最终网络检测精度更低，ResNet101速度慢但最终网络检测精度更高；
步骤1.2：搭建区域生成网络，在骨架网络的多层特征图上预设候选框，并作为区域生成网络的输入；
步骤1.3：在骨架与区域生成网络后并行搭建目标定位网络与目标识别网络。


3.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤2中所述检测网络骨架预训练过程如下：
步骤2.1：提取网络的骨架部分；
步骤2.2：使用图像识别数据集训练网络的骨架部分；
步骤2.3：记录训练过程中网络对验证集图像识别的正确率，据此判断训练过程是否收敛，记录收敛后网络的权重作为目标检测网络骨架部分权重。


4.根据权利要求1所述的基于深度学习的小目标检测网络逐层训练方法，其特征在于：步骤3中所述检测网络整体训练过程如下：
步骤3.1：使用目标检测数据集训练网络，该网络骨架部分权重为预训练的骨架权重，其他部分初始化为随机权重；
步骤3.2：记录训练过程中网络对验证集目标检测的精度，据此判断训练过程是否收敛，记录收敛...

【专利技术属性】
技术研发人员：李琪，陈忠碧，张建林，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：四川;51