多角度稠密目标检测抑制优化方法及设备技术

本发明专利技术的目的是提供一种多角度稠密目标检测抑制优化方法及设备，本申请的抑制原理结合了目标边界框的交并比IOU和距离信息，这种判别方式对同一目标的边界框做出了明确的划分，对冗余的预测结果进行了更加合理的抑制处理，有效避免原始NMS算法对多角度稠密目标在旋转、紧贴等情况下的误抑制操作，减少漏检和误检，提升了模型的实际应用能力。本申请可具体应用于商品检测与识别。

Optimization method and equipment for multi angle dense target detection and suppression

【技术实现步骤摘要】
多角度稠密目标检测抑制优化方法及设备
本专利技术涉及计算机领域，尤其涉及一种多角度稠密目标检测抑制优化方法及设备。
技术介绍
非极大值抑制(Non-maximumsuppression,NMS)算法是目标检测任务中最常用的后处理方法之一，在许多基于神经网络模型的检测算法中如YOLO(YouOnlyLookOnce)，SSD(SingleShotMultiBoxDetector)等，NMS主要作用在于对模型检测的冗余边界框进行抑制，以保留最终的检测结果。NMS算法是目前很多目标检测框架中的关键算法之一，其对模型检测性能的准确性具有一定的决定性作用，传统NMS算法主要依据边界框(boundingbox,bbox)之间的交并比(IntersectionoverUnion,IOU)对冗余检测结果进行抑制。如图1所示，假设模型对某个目标预测出了bbox1和bbox2两个边界框,bbox1的置信度为Pbbox1，面积为Sbbox1；bbox2的置信度为Pbbox2，面积为Sbbox2；bbox1和bbox2面积的交集为Sbbox1∩bbox2。此时边界框bbox1和bbox2面积的IOU计算公式为：IOU＝Sbbox1∩bbox2/(Sbbox1+Sbbox2－Sbbox1∩bbox2)(公式1)设实际可接受的NMS抑制阈值为nms_threshold，若此时IOU大于nms_threshold，那么只保留置信度最高的那个边界框，删除其它边界框。图2对传统的NMS算法的实现流程进行了描述，具体操作过程中：首先，按照置信度从大到小的顺序对模型的初始预测结果进行排序，并存入初始化后的空序列Sequence2；然后，计算序列Sequence2的头元素与后面所有元素之间的IOU，从后面的元素中删除IOU大于阈值nms_threshold的元素，并取出Sequence2的头元素存入Sequence1。按照上述方法，继续对剩余的边界框进行同样的操作，直到Sequence2为空，此时Sequence1中保留的元素即为最终模型输出的检测结果。在目标分布稠密且杂乱的情况下，容易发生目标旋转紧贴等问题，此时现有NMS算法仅仅依据IOU为判别条件，容易引起一些不合理的抑制问题，从而导致模型漏检，这在一定程度上降低了模型的实际应用能力。具体的，图3给出了传统NMS算法对异类和同类常见的误抑制问题，其中，图3a中的右下角存在box(盒状目标)和bottle(瓶状目标)这两个异类目标，由于这两个目标旋转紧贴，此时模型对两个异类目标预测的边界框之间的IOU较高，引起了传统NMS算法的误抑制操作，使模型发生了漏检，如图3b所示。图3c中的右下角存在属于box类别的两个同类目标，由于这两个目标旋转紧贴，此时模型对两个同类目标预测的边界框之间的IOU较高，从而引起了传统NMS算法的误抑制操作，使模型发生了漏检，如图3d所示。
技术实现思路
本专利技术的目的是提供一种多角度稠密目标检测抑制优化方法及设备。根据本专利技术的一个方面，提供了一种多角度稠密目标检测抑制优化方法，该方法包括：获取待检测目标的图片；将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的置信度；基于初始预测的目标边界框的置信度、初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将未删除的初始预测的目标边界框作为最终的目标边界框。进一步的，上述方法中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。进一步的，上述方法中，基于初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将剩余的即未删除的初始预测的目标边界框作为最终的目标边界框，包括：计算每两个初始预测的目标边界框之间的交并比和距离；在交并比大于预设交并比阈值且距离小于预设距离阈值的每两个初始预测的目标边界框中，将置信度较低的其中一个初始预测的目标边界框删除；将未删除的初始预测的目标边界框作为最终的目标边界框。进一步的，上述方法中，在交并比大于预设交并比阈值且距离小于预设距离阈值的每两个初始预测的目标边界框中，将置信度较低的其中一个初始预测的目标边界框删除，包括：步骤S321，设置预设交并比阈值和预设距离阈值，并初始化空序列的第一序列和空序列的第二序列；步骤S322，将各个初始预测的目标边界框按照置信度从大到小的顺序存入所述第二序列；步骤S323，依次计算所述第二序列的第一个初始预测的目标边界框分别与所述第一个初始预测的目标边界框后面的每个初始预测的目标边界框之间的交并比和距离，从所述第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一个初始预测的目标边界框的交并比大于所述预设交并比阈值且距离小于所述预设距离阈值的目标边界框；步骤S324，从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；步骤S325，依次重复所述步骤S323至步骤S324，直到所述第二序列为空；步骤S326，输出所述第一序列。根据本专利技术的另一方面，还提供一种多角度稠密目标检测抑制优化设备，其中，该设备包括：获取装置，用于获取待检测目标的图片；初始预测装置，用于将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的置信度；筛选装置，用于基于初始预测的目标边界框的置信度、初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将未删除的初始预测的目标边界框作为最终的目标边界框。进一步的，上述设备中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。进一步的，上述设备中，所述筛选装置，包括：计算模块，用于计算每两个初始预测的目标边界框之间的交并比和距离；筛选模块，用于在交并比大于预设交并比阈值且距离小于预设距离阈值的每两个初始预测的目标边界框中，将置信度较低的其中一个初始预测的目标边界框删除；输出模块，用于将未删除的初始预测的目标边界框作为最终的目标边界框。进一步的，上述设备中，第一子模块，用于设置预设交并比阈值和预设距离阈值，并初始化空序列的第一序列和空序列的第二序列；第二子模块，用于将各个初始预测的目标边界框按照置信度从大到小的顺序存入所述第二序列；第三子模块，用于依次计算所述第二序列的第一个初始预测的目标边界框分别与所述第一个初始预测的目标边界框后面的每个初始预测的目标边界框之间的交并比和距离，从所述第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界本文档来自技高网...

【技术保护点】
1.一种多角度稠密目标检测抑制优化方法，其中，该方法包括：/n获取待检测目标的图片；/n将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的置信度；/n基于初始预测的目标边界框的置信度、初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将未删除的初始预测的目标边界框作为最终的目标边界框。/n

【技术特征摘要】
1.一种多角度稠密目标检测抑制优化方法，其中，该方法包括：
获取待检测目标的图片；
将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的置信度；
基于初始预测的目标边界框的置信度、初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将未删除的初始预测的目标边界框作为最终的目标边界框。


2.根据权利要求1所述的方法，其中，所述距离为欧氏距离，所述欧氏距离distance的计算公式如下：



其中，两个目标边界框的中心点的坐标分别为(x1,y1)和(x2,y2)。


3.根据权利要求1或2所述的方法，其中，基于初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，将剩余的即未删除的初始预测的目标边界框作为最终的目标边界框，包括：
计算每两个初始预测的目标边界框之间的交并比和距离；
在交并比大于预设交并比阈值且距离小于预设距离阈值的每两个初始预测的目标边界框中，将置信度较低的其中一个初始预测的目标边界框删除；
将未删除的初始预测的目标边界框作为最终的目标边界框。


4.根据权利要求3所述的方法，其中，在交并比大于预设交并比阈值且距离小于预设距离阈值的每两个初始预测的目标边界框中，将置信度较低的其中一个初始预测的目标边界框删除，包括：
步骤S321，设置预设交并比阈值和预设距离阈值，并初始化空序列的第一序列和空序列的第二序列；
步骤S322，将各个初始预测的目标边界框按照置信度从大到小的顺序存入所述第二序列；
步骤S323，依次计算所述第二序列的第一个初始预测的目标边界框分别与所述第一个初始预测的目标边界框后面的每个初始预测的目标边界框之间的交并比和距离，从所述第一个初始预测的目标边界框后面的初始预测的目标边界框中删除符合条件的目标边界框，其中，所述符合条件的目标边界框为与所述第一个初始预测的目标边界框的交并比大于所述预设交并比阈值且距离小于所述预设距离阈值的目标边界框；
步骤S324，从所述第二序列中取出第一个初始预测的目标边界框存入所述第一序列；
步骤S325，依次重复所述步骤S323至步骤S324，直到所述第二序列为空；
步骤S326，输出所述第一序列。


5.一种多角度稠密目标检测抑制优化设备，其中，该设备包括：
获取装置，用于获取待检测目标的图片；
初始预测装置，用于将所述图片输入神经网络模型，以得到所述神经网络模型输出的多个初始预测的目标边界框及对应的置信度；
筛选装置，用于基于初始预测的目标边界框的置信度、初始预测的目标边界框之间的交并比和距离，删除冗余的初始预测的目标边界框，...

【专利技术属性】
技术研发人员：龚飞，
申请(专利权)人：中科智云科技有限公司，上海点泽智能科技有限公司，
类型：发明
国别省市：安徽;34