算法评估方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及图像处理领域，尤其涉及一种算法评估方法、装置、计算机设备及存储介质，其方法包括：获取标注对象组及检测对象组；逐一计算所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度；基于所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度，确定所述标注对象组和所述检测对象组之间的检测匹配结果；根据所述检测匹配结果，生成针对所述检测对象组的算法评价结果。本发明专利技术通过检测对象组与标注对象组之间的匹配结果，并生成检测对象组的算法评价结果，使得检测框能被准确地归纳入对应的标注框中，有效地减少了评价数据与实际数据的差异性。的差异性。的差异性。

【技术实现步骤摘要】
算法评估方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及一种算法评估方法、装置、计算机设备及存储介质。

技术介绍

[0002]0随着图像识别算法日益丰富，不再局限于人脸人体车辆等常规算法，治理
[0003]类算法如乱丢垃圾，闯红灯，井盖异常，经营占道等不同场景的图像识别算法逐渐增加，算法效果评估结果关系到相关算法是否能够在实际场景中使用而显得尤为重要。
[0004]业界通用的检测算法效果评估方法，为统计算法检测结果指标查准率和召5回率，由于查准率和召回率是负相关的，故一般会通过F
‑
Socre等常用评价指标(通过对查准率和召回率不同的加权比重)来整体评估算法的检测效果。但是在密集型场景中，由于存在检测目标重叠相交的情况，如果采用通用评估方法，可能存在检测结果误统计或统计结果不准确的情况，进而导致算法检测结果与实际结果的差异较大，算法评估结果的准确度较低。
[0005]
技术实现思路

[0006]基于此，有必要针对上述技术问题，提供一种算法评估方法、装置、计算机设备及存储介质，以提高算法评估结果的准确度。
[0007]一种算法评估方法，包括：5获取标注对象组及检测对象组；所述标注对象组包括对待处理图像中的目标对象进行标注的多个标注框；所述检测对象组包括根据预设识别算法对所述待处理图像的目标对象进行识别得到的多个检测框；所述标注框为对所述待处理图像中相互重叠的至少两个目标对象进行整体标注的对象框或对所述待处理图像中的单个不重叠目标对象进行标注的对象框，所述检测框为对所述待处理图像的单个目标对象进行识别得到的对象框；
[0008]逐一计算所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度；
[0009]基于所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度，确定所述标注对象组和所述检测对象组之间的检测匹配结果；
[0010]根据所述检测匹配结果，生成针对所述检测对象组的算法评价结果。
[0011]一种算法评估装置，包括：
[0012]对象组获取模块，用于获取标注对象组及检测对象组；所述标注对象组包括对待处理图像中的目标对象进行标注的多个标注框；所述检测对象组包括根据预设识别算法对所述待处理图像的目标对象进行识别得到的多个检测框；所述标注框为对所述待处理图像中相互重叠的至少两个目标对象进行整体标注的对象框或对所述待处理图像中的单个不重叠目标对象进行标注的对象框，所述检测框为对所述待处理图像的单个目标对象进行识别得到的对象框；
[0013]重合度计算模块，用于逐一计算所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度；
[0014]匹配结果构建模块，用于基于所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度，确定所述标注对象组和所述检测对象组之间的检测匹配结果；
[0015]评价结果生成模块，用于根据所述检测匹配结果，生成针对所述检测对象组的算法评估结果。
[0016]本专利技术实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述算法评估方法。
[0017]本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述算法评估方法。
[0018]上述算法评估方法、装置、计算机设备及存储介质中，通过对待处理图像中相互重叠的至少两个目标对象进行整体标注或对待处理图像中的单个不重叠目标对象进行标注得到标注对象框，对待处理图像的单个目标对象进行识别得到检测对象框，获取标注对象组及检测对象组；从而逐一计算标注对象组中的各个检测框和标注对象组中的各个标注框之间的重合度；基于标注对象组中的各个检测框和检测对象组中的各个标注框之间的重合度，确定标注对象组和检测对象组之间的检测匹配结果；最后根据检测匹配结果，生成针对检测对象组的算法评价结果。本专利技术通过对待处理图像中相互重叠的至少两个目标对象进
[0019]行整体标注得到对象框或对待处理图像中的单个不重叠目标对象进行标注得到5标注对象框，对待处理图像的单个目标对象进行识别得到检测对象框，使得检测出的目标对象框能被准确地归纳入对应的标注对象框中，有效减少了评价数据与实际数据的差异性，提高了算法评估结果的可靠性。
附图说明
[0020]0为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术一实施例中算法评估方法的一流程示意图；
[0022]图2是本专利技术实施例中传统方法标注框和本专利技术方法标注框的对比图；
[0023]图3是本专利技术一实施例中算法评估装置的一结构示意图；
[0024]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0025]0下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]在一实施例中，如图1所示，提供一种算法评估方法，包括如下步骤S10
‑
S40。5S10、获取标注对象组及检测对象组；标注对象组包括对待处理图像中的
[0027]目标对象进行标注的多个标注框；检测对象组包括根据预设识别算法对待处理图像的目标对象进行识别得到的多个检测框；标注框为对待处理图像中相互重叠的至少两个目标对象进行整体标注的对象框或对待处理图像中的单个不重叠目标对象进行标注的对象框，检测框为对待处理图像的单个目标对象进行识别得到的对象框；
[0028]可理解地，标注对象组可以是待处理图像中所有目标对象的标注框的集合。其中，目标对象可以是人或物。标注对象组可以是人工对目标对象进行标注的标注结果。标注框为对待处理图像中相互重叠的至少两个目标对象进行整体标注的对象框或对待处理图像中的单个不重叠目标对象进行标注的对象框。检测对象组可以是待处理图像中所有检测目标对象的标注框的集合。检测目标对象的标注框可以是根据预设识别算法对待处理图像的目标对象进行识别得到的检测框。在此处，预设的识别算法可采用HOG(方向梯度直方图)算法，Region
‑
CNN算法或YOLO系列算法。检测框为对待处理图像的单个目标对象进行识别得到的对象框。
[0029]具体地，获取待处理图像，人工对待处理图像中相互重叠的至少两个目标对象进行整体标注或对待处理图像中的单个不重叠目标对象进行标注得到标注框，根据得到的所有标注框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算法评估方法，其特征在于，包括：获取标注对象组及检测对象组；所述标注对象组包括对待处理图像中的目标对象进行标注的多个标注框；所述检测对象组包括根据预设识别算法对所述待处理图像的目标对象进行识别得到的多个检测框；所述标注框为对所述待处理图像中相互重叠的至少两个目标对象进行整体标注的对象框或对所述待处理图像中的单个不重叠目标对象进行标注的对象框，所述检测框为对所述待处理图像的单个目标对象进行识别得到的对象框；逐一计算所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度；基于所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度，确定所述标注对象组和所述检测对象组之间的检测匹配结果；根据所述检测匹配结果，生成针对所述检测对象组的算法评价结果。2.如权利要求1所述的算法评估方法，其特征在于，所述基于所述检测对象组中的各个检测框和所述标注对象组中的各个标注框之间的重合度，确定所述标注对象组和所述检测对象组之间的检测匹配结果，包括：针对所述检测对象组中的每个所述检测框，在所述标注对象组中的各个标注框中，选择与所述检测框之间的重合度最高且重合度大于或等于所述重合度阈值的标注框作为目标标注框，将所述检测框作为与所述目标标注框存在匹配关系的匹配框，得到所述检测对象组中的各个检测框对应的匹配框组；根据所述检测对象组中的各个检测框对应的匹配框组，确定所述检测对象组的正确类检测个数；根据所述标注对象组中不存在匹配关系的标注框以及所述检测对象组中不存在匹配关系的检测框，确定所述检测对象组的错误类检测个数；根据所述正确类检测个数和所述错误类检测个数，确定所述标注对象组和所述检测对象组之间的检测匹配结果。3.如权利要求2所述的算法评估方法，其特征在于，所述错误类检测个数包括漏检个数和误检个数；所述根据所述标注对象组中不存在匹配关系的标注框以及所述检测对象组中不存在匹配关系的检测框，确定所述检测对象组的错误类检测个数，包括：统计所述标注对象组中不存在匹配关系的标注框的个数，生成所述漏检个数；统计所述检测对象组中不存在匹配关系的检测框的个数，生成所述误检个数。4.如权利要求2所述的算法评估方法，其特征在于，所述正确类检测个数包括第一正确检出个数和第二正确检出个数；所述根据所述检测对象组中的各个检测框对应的匹配框，确定所述检测对象组的正确类检测个数，包括：根据重合度降序规则对各个所述匹配框组中的检测框进行排序，生成各个所述匹配框组对应的检测框排序队列；依次从各个所述匹配框组对应的检测框排序队列取出排序在先的检测框；统计已取出的检测框的个数，生成所述第一正确检出个数；统计所述检测框排序队列中剩余的检测框的个数，生成所述第二正确检出个数。
5.如权利要求4所述的算法评估方法，其特征在于，所述算法评价结果包括查准率，召回率和算...

【专利技术属性】
技术研发人员：程冰，彭稷栋，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：