一种基于级联的物体检测方法及系统、存储介质及终端技术方案

本发明专利技术提供一种基于级联的物体检测方法及系统、存储介质及终端，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络获取所述置信候选框二次调整后的位置和置信度。本发明专利技术的基于级联的物体检测方法及系统、存储介质及终端将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升，能够同时兼顾物体检测速度和精度。

【技术实现步骤摘要】
一种基于级联的物体检测方法及系统、存储介质及终端
本专利技术涉及物体检测的
，特别是涉及一种基于级联的物体检测方法及系统、存储介质及终端。
技术介绍
通用物体检测是日常生活中广泛应用的一门技术。级联检测算法和DPM(deformablepartmodels，可变性的组件模型)算法是两种较常用的物体检测方法。级联检测算法由一系列的弱分类器组成，通过级联方式在前期筛除大量非目标候选框，使得检测速度有了很大的提升。后来提出的一些方法均扩展了这种级联的流程并取得了较好的成绩。另一方面，DPM检测器通过检索物体的部分信息和空间组成信息成功地在物体检测上取得了一些进步。近年来，卷积神经网络在通用物体检测上取得了突破性的进展，获得了很好的成效。如FasterRCNN，YOLO，SSD等网络模型，其在网络特征图上直接或间接生成物体候选框并其进行过滤、纠正等操作，从而得到最终的检测结果。然而，现有的通用物体检测算法均无法同时兼顾物体检测速度和精度，无法满足不同情形下的物体检测需求。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于级联的物体检测方法及系统、存储介质及终端，将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升，能够同时兼顾物体检测速度和精度。为实现上述目的及其他相关目的，本专利技术提供一种基于级联的物体检测方法，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。于本专利技术一实施例中，所述特征提取网络采用特征融合算法获取所述第一图像特征。于本专利技术一实施例中，所述特征提取网络采用VGG16网络的卷积层部分获取第一图像特征；所述候选框生成网络采用带有4个过滤器的卷积层获取第二图像特征；所述精调网络采用带64个过滤器的卷积层获取第三图像特征。于本专利技术一实施例中，基于若干全连接层获取信度大于预设阈值的置信候选框及其对应的第一特征向量时，还包括对所述置信度大于预设阈值的置信候选框进行非最大值抑制操作，获取预设数量个置信度大于预设阈值的置信候选框。于本专利技术一实施例中，训练所述候选框生成网络时，将候选框和真实值的IoU大于0.5的候选框作为正样本，小于0.3的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新；训练所述精调网络时，将候选框与真实值IoU大于0.45的候选框作为正样本，介于0.1到0.3之间的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新。于本专利技术一实施例中，在训练所述候选框生成网络和所述精调网络时，通过损失函数计算每个候选框的损失值，仅选择损失值最高的70％的候选框参与训练。于本专利技术一实施例中，所述损失函数为多阶段联合损失函数L＝αLs1+(1-α)Ls2，其中Ls1(t,s)＝Lcls(s)+λLloc(t,s)，Ls2(t',s')＝Lcls(s')+λLloc(t',s')，Ls1,Ls2分别表示所述候选框生成网络和所述精调网络的损失函数，α表示权重；Lcls(s)＝-logs，其中，x，y表示调整后的候选框左上角的坐标，w，h表示调整后的候选框的宽度和高度，s表示所述候选框生成网络中候选框的置信度；t＝(tx,ty,tw,th)表示所述候选框生成网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移；表示所述候选框生成网络中调整前的候选框的左上角的坐标、宽度和高度，λ表示权重系数；t',s'分别表示所述精调网络中调整后的候选框和调整前的候选框在x,y,w,h方向上的偏移和所述精调网络中候选框的置信度。对应地，本专利技术提供一种基于级联的物体检测系统，包括第一获取模块、第二获取模块和第三获取模块；所述第一获取模块用于基于特征提取网络来获取图像的第一图像特征；所述第二获取模块用于基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；所述第三获取模块用于基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。本专利技术提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于级联的物体检测方法。最后，本专利技术提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的基于级联的物体检测方法。如上所述，本专利技术的基于级联的物体检测方法及系统、存储介质及终端，具有以下有益效果：(1)将级联网络的思想与检测网络相结合，对物体候选框逐步进行调整，不同阶段使用不同的网络进行优化，使得物体的位置和分类信息同时得到提升；(2)通过N1网络提取图像基本特征，通过N2网络加速物体候选框的过滤，再通过N3网络得到精确的物体框位置，从而额提高了物体检测的速度和精度；(3)适用于人脸检测、车辆检测等通用物体检测场景。附图说明图1显示为本专利技术的基于级联的物体检测方法于一实施例中的流程图；图2显示为本专利技术的基于级联的物体检测方法于一实施例中的框架结构图；图3显示为本专利技术的基于级联的物体检测系统于一实施例中的结构示意图；图4显示为本专利技术的终端于一实施例中的结构示意图。元件标号说明31第一获取模块32第二获取模块33第三获取模块41处理器42存储器具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型本文档来自技高网...

【技术保护点】
1.一种基于级联的物体检测方法，其特征在于，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。

【技术特征摘要】
1.一种基于级联的物体检测方法，其特征在于，包括以下步骤：基于特征提取网络来获取图像的第一图像特征；基于候选框生成网络对所述第一图像特征进行精简获取第二图像特征，并将所述第二图像特征划分为多个网格，在每个网格上生成固定数目和尺寸的候选框；基于RoI池化层提取每个候选框的图像特征，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量和一次调整后的位置；基于精调网络和所述第一图像特征获取第三图像特征；根据所述置信候选框的位置信息和所述第三图像特征基于RoI池化层获取所述置信候选框的图像特征；对于每个所述置信候选框，基于所述置信候选框的图像特征和若干全连接层生成对应的第二特征向量，并与所述第一特征向量拼接为第三特征向量；基于所述第三特征向量、所述一次调整后的位置和全连接层获取所述置信候选框二次调整后的位置和置信度。2.根据权利要求1所述的基于级联的物体检测方法，其特征在于，所述特征提取网络采用特征融合算法获取所述第一图像特征。3.根据权利要求1所述的基于级联的物体检测方法，其特征在于，所述特征提取网络采用VGG16网络的卷积层部分获取第一图像特征；所述候选框生成网络采用带有4个过滤器的卷积层获取第二图像特征；所述精调网络采用带64个过滤器的卷积层获取第三图像特征。4.根据权利要求1所述的基于级联的物体检测方法，其特征在于，基于若干全连接层获取置信度大于预设阈值的置信候选框及其对应的第一特征向量时，还包括对所述置信度大于预设阈值的置信候选框进行非最大值抑制操作，获取预设数量个置信度大于预设阈值的置信候选框。5.根据权利要求1所述的基于级联的物体检测方法，其特征在于，训练所述候选框生成网络时，将候选框和真实值的IoU大于0.5的候选框作为正样本，小于0.3的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新；训练所述精调网络时，将候选框与真实值IoU大于0.45的候选框作为正样本，介于0.1到0.3之间的候选框作为负样本，仅基于所述正样本和所述负样本进行模型训练时的参数更新。6.根据权利要求1所述的基于级联的物体检测方法，其特征在于，在训练所述候选框生成网络和所述精调网络时，通过损失函数计算每个候选框的损失值，仅选择损失值最高的70％的候选框参与训练。7.根据权利要求6...

【专利技术属性】
技术研发人员：汪宏，叶浩，郑莹斌，邵蔚元，王丽，
申请(专利权)人：中国科学院上海高等研究院，上海市信息技术研究中心，
类型：发明
国别省市：上海,31