基于双重卷积神经网络的小目标增强检测方法和装置制造方法及图纸

一种基于双重卷积神经网络的小目标增强检测方法，既能提升检测准确性，又能保持与通用检测模型相近的检测速度。检测方法级联双重卷积神经网络，第一重卷积神经网络采用兼顾目标定位和目标识别功能的MobileNet‑SSD网络，并以较低的置信度阈值筛选出候选目标，较低的阈值可以确保小目标不漏检；第二重卷积神经网络根据第一轮检测得到候选目标区域，逐个截取图片子块，采用只含目标识别功能的MobileNet网络，并以较高的置信度阈值筛选出目标，较高的阈值可以确保小目标不错检。通过本发明专利技术提出的两轮增强检测方法，可以提升小目标的检测准确性，降低目标错检率和漏检率。

【技术实现步骤摘要】
基于双重卷积神经网络的小目标增强检测方法和装置
本专利技术涉及目标检测
，具体涉及一种基于双重卷积神经网络的小目标增强检测方法和装置。
技术介绍
目标检测是计算机视觉的一项基础技术，该技术在给定的一副图像中，实现对目标所在区域的定位并识别出目标的类别信息。在实际图像中，目标的尺寸变化范围很大，摆放目标的角度、姿态、在图像中的位置都不一样，目标之间可能还有重叠现象，这使得目标检测的难度变得很大。目前学术和工业界出现的目标检测算法主要分成两类：传统基于人工规则提取特征的方法，采用基于滑动窗口的区域选择策略，采用HOG算子提取目标特征向量，典型算法是：级联Cascade+HOG+Haar/SVM以及上述方法的诸多改进、优化。其主要问题：基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；手工设计的特征对于多样性的变化没有很好的鲁棒性。近年基于卷积神经网络自动提取特征的方法，其中又经历了两个阶段发展。第一阶段是候选区域+深度学习分类的两步法，通过提取候选区域，并对相应区域进行以深度学习方法为主的分类的方案，如：R-CNN、FastR-CNN、FasterR-CNN等系列方法。R-CNN方法有效地改善了传统方法的两个问题；卷积神经网络CNN方法，替代手工特征，提升了算法的鲁棒性。FasterR-CNN虽然速度有所改进，但是速度上并不能满足实时的要求，而且需要训练多个神经网络模型。于是，卷积神经网络发展到一个全新的阶段，第二个阶段是基于深度学习回归的一步法，这类算法不需要单独提取候选区域，而是把区域的识别也放到深度学习中，实现了端到端的目标检测，如：YOLO/SSD/MobileNet-SSD等方法。其中，MobileNet-SSD把SSD的前端VGG特征提取网络替换为MobileNet，MobileNet是Google提出的适用于手机端目标识别的卷积神经网络模型。小目标检测在深度学习卷积神经网络模型中一直是一个难题。目标检测算法从传统到深度学习经历了一系列的改进，在目标检测准确性和实时性取得了长足的发展，但仍然存在小目标识别准确性差的问题。小目标有两种定义方式，一种是相对尺寸大小，如目标尺寸的长宽是原图像尺寸的0.1，即可认为是小目标，另外一种是绝对尺寸的定义，即尺寸小于32*32像素的目标即可认为是小目标，本专利技术采用第一种定义。早期的小目标检测方法大多数是基于通用的面向常规中大型目标的方法，如经典的单步方法SSD，两步法FasterR-CNN等，这些方法主要是针对通用目标数据集来设计的解决方案，擅长检测中大型目标，因此对于图像中的小目标来说，检测效果不是很理想。近年提出了利用多层特征图的第二种方法，对小目标检测的效果产生了显著的提升，多层特征图方法分为以下3类：特征金字塔、RNN思想、逐层预测。特征金字塔：参考多尺度特征图的特征信息，同时兼顾了较强的语义特征和位置特征。该方法的优势在于，多尺度特征图是卷积神经网络中固有的过渡模块，堆叠多尺度特征图对于算法复杂度的增加微乎其微。逐层预测：该方法对于卷积神经网络的每层特征图输出进行一次预测，最后综合考量得出结果。同样，该方法也需要极高的硬件性能。RNN思想：参考了RNN算法中的门限机制、长短期记忆等，同时记录多层次的特征信息。但RNN固有的缺陷是训练速度较慢。上述两大类现有技术中，第一类采用MobileNet-SSD等面向常规中大型目标的通用检测模型，存在小目标检测准确性低，容易导致错检或漏检的问题。第二类采用多层特征图的方法，因为增加了特征图，大大增加了训练和推理时间，影响算法的实时性。
技术实现思路
本专利技术提供了一种基于双重卷积神经网络的小目标增强检测方法和装置，解决了上述技术问题，既能提升检测准确性，又能保持与通用检测模型相近的检测速度。本专利技术提供的一种基于双重卷积神经网络的小目标增强检测方法，具体技术方案包括以下步骤：第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络；第一重卷积神经网络检测结果以较低的置信度阈值(0.01-0.1)筛选出候选目标区域，较低的阈值可以确保小目标不漏检；根据第一重卷积神经网络得到候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，把小目标变成像素占比较高的目标，图片子块送入第二重卷积神经网络；第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络；第二重卷积神经网络以较高的置信度阈值(0.85-0.95)筛选出目标，较高的阈值可以确保小目标不错检。本专利技术的有益效果在于，采用双重卷积神经网络进行目标检测，相对于网络缩小因子a默认为1.0的标准版MobileNet-SSD网络，不降低检测速度的同时，提升了小目标的检测准确率，以PascalVOC数据集中的类别bottle为例，AP提升40％。附图说明图1为本专利技术基于双重卷积神经网络的小目标增强检测方法流程图。具体实施方式下文中，结合附图和实施例对本专利技术作进一步阐述。本实施例提供的一种基于双重卷积神经网络的小目标增强检测方法，将待检测图片送入双重卷积神经网络，最终得到目标列表，包括目标位置和类别。本专利技术流程如图1所示，具体实现步骤如下：本专利技术双重卷积神经网络包括第一重卷积神经网络和第二重卷积神经网络，第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，即网络缩小因子a从标准版MobileNet-SSD的1.0降低为0.5，缩小版检测网络的检测时间是基准检测网络的1/4；待测图片送入第一重卷积神经网络执行推理过程，第一重卷积神经网络输出检测的结果，在结果队列中，检测目标按置信度概率值从高到低排序，以较低的置信度阈值(0.1)筛选出候选目标；根据第一重卷积神经网络得到候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，把像素占比较小(＜1％)的小目标变成像素占比较高(＞50％)的大目标，图片子块送入第二重卷积神经网络；第二重卷积神经网络采用只含目标识别功能的MobileNet识别网络，识别网络的计算时间是基准检测网络1/8，假设第二重卷积神经网络识别4个目标，识别计算时间1/2。将目标像素占比较高的图像子块逐个送入第二重卷积神经网络执行推理过程，得到按置信度概率值从高到低排序的目标队列，以较高的置信度阈值(0.85-0.95)筛选出目标，即如果目标队列某个目标的置信度高于阈值，则图像子块确认是目标；否则不是目标。双重卷积神经网络总共计算时间占基准检测网络的3/4(1/4+1/2)，以上第二重卷积网络采用网络缩小因子为1.0的标准版MobileNet，如果第二重卷积网络也采用缩小版MobileNet，比如网络缩小因子设为0.5，可以进一步提升识别目标的数量。本专利技术实施例采用双重卷积神经网络进行目标检测，相对于网络缩小因子a默认为1.0的MobileNet-SSD网络，不降低检测速度的同时，提升本文档来自技高网...

【技术保护点】
1.一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，所述方法包括以下步骤：/n第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，第一重卷积神经网络通过设置低置信度阈值筛选出候选目标区域；/n根据第一重卷积神经网络筛选出的候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络；/n第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，通过设置高置信度阈值筛选出目标。/n

【技术特征摘要】
1.一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，所述方法包括以下步骤：
第一重卷积神经网络采用兼顾目标定位和目标识别功能的缩小版MobileNet-SSD检测网络，第一重卷积神经网络通过设置低置信度阈值筛选出候选目标区域；
根据第一重卷积神经网络筛选出的候选目标区域，逐个截取目标图片子块，从而提升目标像素占比，形成高像素占比目标图片子块，将高像素占比目标图片子块送入第二重卷积神经网络；
第二重卷积神经网络采用只含目标识别功能的缩小版MobileNet识别网络，对高像素占比目标图片进行目标识别，通过设置高置信度阈值筛选出目标。


2.如权利要求1所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第一重卷积神经网络设置的低置信度阈值的范围为0.01-0.1。


3.如权利要求2所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第二重卷积神经网络设置的高置信度阈值的范围为0.85-0.95。


4.如权利要求3所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第二重卷积神经网络筛选出的目标包括目标位置和目标类别。


5.如权利要求4所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，缩小版MobileNet-SSD检测网络的网络缩小因子a设为0.5。


6.如权利要求5所述的一种基于双重卷积神经网络的小目标增强检测方法，其特征在于，第一重卷积神经网络设置的低置信度阈值为0.1。


7.一种基于双重卷积神经网络的小目标增强检测装置，其特征在于，所述检...

【专利技术属性】
技术研发人员：李华伟，王斯建，
申请(专利权)人：上海嘉沃光电科技有限公司，
类型：发明
国别省市：上海;31