候选区域提取方法及系统及装置及介质及目标检测方法制造方法及图纸

本发明专利技术公开了涉及候选区域提取方法及系统及装置及介质及目标检测方法，涉及图像处理领域，包括：在输入图像中放置若干个初始候选区域；对初始候选区域的边界进行若干次扩展处理后对应获得一个第一候选区域以及表征第一候选区域的似物性高低的第一参数，每个初始候选区域对应的多个第一候选区域组合获得一个第一候选区域集合；合并每个初始候选区域对应的第一候选区域集合获得全局候选区域集合；将全局候选区域集合中的多个第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；选取第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果；本方法具有较高的计算高效性和检测准确率。检测准确率。检测准确率。

【技术实现步骤摘要】
候选区域提取方法及系统及装置及介质及目标检测方法


[0001]本专利技术涉及图像处理领域，具体地，涉及候选区域提取方法及系统及装置及介质及目标检测方法。

技术介绍

[0002]目标检测是计算机视觉领域中一项重要的识别任务，广泛存在于安防监控、自动驾驶、智慧医疗、智慧工业等应用场景中。目标检测算法需要从图像中寻找特定目标，并准确给出目标的位置和大小，然后再进一步识别目标的类型等。例如，自动驾驶任务中常常需要对车辆视野中的车辆、行人、交通标志和障碍物等目标进行检测，然后在目标检测结果的基础上分析目标距离、移动方向和速度等。因此，目标检测算法一方面需要有高准确性，另一方面也要具有较快的识别速度、甚至实时性。目标检测的计算实时性在自动驾驶、医疗、军事等领域的应用中尤为重要。
[0003]目前，主流的基于数据驱动的目标检测技术是基于深度卷积神经网络的目标检测模型。其技术路径有单阶段（one
‑
stage）和双阶段（two
‑
stage）两种。单阶段目标检测模型，如YOLO和SSD，是一类通过端到端（end
‑
to
‑
end）模型训练获得，并在模型末端直接输出目标位置、大小和类型的检测模型。单阶段目标检测模型具有较快的运算速度，实时性好，在特定条件下能达到80帧每秒的检测速度。但是，单阶段目标检测模型的准确率在整体上不如双阶段目标检测模型。双阶段目标检测模型由候选区域提取算法和分类模型组成。首先，候选区域提取算法对图像中的物体进行类别无关的检测，其结果被称为候选区域；然后，分类模型对候选区域进行分类，从而获得完整的目标检测结果。双阶段目标检测模型准确率较高，但效率低于单阶段的模型。大量研究证实，双阶段目标检测模型中候选区域提取算法为其高准确率提供了保障，但也造成了大量的计算开销，使得整个双阶段目标检测模型的实时性较差。
[0004]一种能够改善双阶段目标检测模型效率的策略是设计一种高效的候选区域提取算法。现有的候选区域提取算法包括：基于传统计算机视觉方法的非数据驱动算法，如Selective Search和Edge Box；基于深度学习的数据驱动方法，如Region Proposal Network。前者不需要大量的训练数据、且在不同场景下有良好的通用性，但计算效率不高（如Selective Search需要进行复杂的超像素计算）；后者的计算效率相对高一些（能充分利用GPU），但需要大量训练数据，且通用性不如前者。
[0005]现有方案1：现有方案1是目前双阶段目标检测模型中经常使用的一种非数据驱动的候选区域提取算法。它生成候选区域的方式是迭代地合并超像素，并以每个合并超像素所在的紧密的矩形框为候选区域。其超像素迭代合并的策略是不断寻找最相似的两个超像素进行合并，直至合并完所有超像素。其超像素相似性度量方式是颜色相似度、纹理相似度、面积相似度、边界吻合度的加权和。其算法流程概括如下：（1）对图像进行超像素分割，获得N个超像素分割块；（2）对每个超像素及其邻居超像素计算相似度，相似度度量方式包含了颜色、纹
理、面积和边界吻合度；（3）对相似度最高的两个超像素进行合并，产生一个新的超像素；（4）把紧密包含了新超像素的矩形框加入候选区域结果集合；（5）如果只剩下一个超像素，则输出候选区域结果集合；否则回到（2）。
[0006]方案缺点：此方法使用的超像素方法具有较大的计算量，且对合并前后同一区域的颜色、纹理、边界吻合度计算具有一定的重复性，使得算法速度较慢。另外，本算法以超像素的相似性为依据判断两个超像素是否属于同一物体，不适用于包含了多个不同部分的复杂物体，因此在较复杂的目标检测问题中适用性较差。
[0007]现有方案2：此方法使用了一种基于边缘特征的似物性计算方式来进行候选区域提取。对任意的检测框，此方法以其轮廓处的边缘响应强度来计算似物性分数，并以此判断检测框是否紧密地包含了一个物体。其算法流程概括如下：（1）设置不同的窗口尺度、长宽比和移动步长，使用滑动窗口方法采集大量的检测框；（2）对采集的每个检测框，计算似物性分数（似物性分数基于轮廓处的边缘特征响应）；（3）将似物性分数最高的一批检测框作为候选区域输出。
[0008]方案缺点：此方案虽然在似物性分数的计算上有一定的效率提升（边缘特征的计算较快），但使用滑动窗口方法来遍历所有区域是一种计算量非常大的搜索方式。当目标的尺度、长宽比多变时，使用此方法必须设置较多的窗口尺度、较多的窗口长宽比、和较小的移动步长，进而导致计算量进一步增大。
[0009]现有方案3：此方法是基于深度学习、数据驱动的候选区域提取方法中具有开创性的工作。其思路是直接使用端到端深度卷积神经网络模型训练一个单阶段的、类别无关的、基于锚框的目标模型，作为候选区域网络；使用候选区域网络预测每个候选区域的似物性分数；后续使用一个分类模型对似物性最高的一批候选区域进行分类。候选区域网络的训练需要使用含大量检测框标注的图像数据集。
[0010]方案缺点：此方案基于深度卷积神经网络，运算量较大，不利于部署到边缘设备。另外，此方案需要使用大量标注图像进行训练，在缺乏数据或要求算法普适性的应用场景中存在劣势。
[0011]现有方案4：此方法与现有方案2相似，都采用边缘特征来进行似物性估计。不同的是，此方法对滑动窗口产生的大量窗口行快速初筛，只保留少部分窗口进行计算量较高的似物性估计，以此减小总的运算量。具体来说，此方案在现有技术2的步骤（1）之后增加一步初筛处理，用边界处的边缘特征响应值之和作为依据，只保留少部分的窗口进入步骤（2）进行似物性计算。
[0012]方案缺点：此方案在一定程度上改善了现有技术2的效率，但很容易因为不准确的初筛方式，导致正确的候选区域被排除在外，导致召回率下降。另外，此方法未给出初筛的保留比例或阈值的设置方式。凭借经验进行人工设置很有可能进一步降低候选区域的召回率。

技术实现思路

[0013]本专利技术要目的是解决双阶段目标检测模型中候选区域提取计算速度问题。
[0014]为实现上述目的，本专利技术提供了候选区域提取方法，所述方法包括：在输入图像中放置若干个初始候选区域；对所述初始候选区域的边界进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；将所述全局候选区域集合中的多个所述第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
[0015]其中，本方法使用结构化边缘检测器对图像进行边缘检测；在图像中密集、均匀地放置小面积的初始候选框；对所有初始候选框分别进行边界扩展，同时计算似物性分数（表征所述第一候选区域的似物性高低的第一参数）并加入候选集合；采用非极大抑制算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.候选区域提取方法，其特征在于，所述方法包括：在输入图像中放置若干个初始候选区域；对所述初始候选区域的边界进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；将所述全局候选区域集合中的多个所述第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。2.根据权利要求1所述的候选区域提取方法，其特征在于，本方法对每个所述初始候选区域的边界均进行扩展处理，每次扩展处理后对应获得一个所述第一候选区域以及所述第一参数。3.根据权利要求2所述的候选区域提取方法，其特征在于，本方法将每个所述初始候选区域对应的第一候选区域集合均进行合并获得所述全局候选区域集合；基于每个所述第一候选区域的所述第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得所述第一排序结果。4.根据权利要求1所述的候选区域提取方法，其特征在于，所述初始候选区域为矩形，相邻2个所述初始候选区域之间的横向间距和纵向间距分别为和，所述输入图像中的目标物体的尺寸大于或等于像素，其中，为目标物体的宽度，为目标物体高度。5.根据权利要求1所述的候选区域提取方法，其特征在于，所述方法包括：去除所述第一排序结果中重复的所述第一候选区域，获得第二排序结果；选取所述第二排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。6.根据权利要求3所述的候选区域提取方法，其特征在于，使用非极大抑制算法去除所述第一排序结果中重复的所述第一候选区域。7.根据权利要求1所述的候选区域提取方法，其特征在于，对所述初始候选区域的边界进行若干次扩展处理具体包括：对所述初始候选区域做边界扩展处理，获得第一候选区域1，并计算所述第一候选区域1的第一参数获得第一评分1；对所述第一候选区域1做边界扩展处理，获得第一候选区域2，并计算所述第一候选区域2的第一参数获得第一评分2；.....对第一候选区域
i
‑1做边界扩展处理，获得第一候选区域
i
，并计算所述第一候选区域
i
的第一参数获得第一评分
i
；对第一候选区域
i
做边界扩展处理，获得第一候选区域
i+1
，其中，所述第一候选区域
i+1
的
面积大于或等于所述输入图像的面积；基于所述第一候选区域1至所述第一候选区域
i
获得所述第一候选区域集合。8.根据权利要求1所述的候选区域提取方法，其特征在于，本方法中对所述初始候选区域的边界进行扩展处理包括：计算所述初始候选区域的扩展方向获得第一方向；计算所述初始候选区域的扩展幅度获得第一幅度；将所述初始候选区域的长或宽沿所述第一方向扩展所述第一幅度。9.根据权利要求8所述的候选区域提取方法，其特征在于，所述第一方向的获得方式为：分别计算所述初始候选区域的4个邻接区域与所述初始候选区域的颜色差异值，获得颜色差异值最小的邻接区域，基于颜色差异值最小的邻接区域相对于所述初始候选区域的方向获得所述第一方向；其中，所述初始候选区域和所述邻接区域均为矩形，所述4个邻接区域包括：上邻接区域、下邻接区域、左邻接区域和右邻接区域；其中，所述4个邻接区域中的任意1个均与所述初始候选区域具有一个重合的边。10.根据权利要求9所述的候选区域提取方法，其特征在于，所述邻接区域的面积为所述初始候选区域面积的一半。11.根据权利要求9所述的候选区域提取方法，其特征在于，所述初始候选区域为，所述候选区域为，与的颜色差异值的计算方式为：其中，是内像素在CIELAB颜色空间...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：