一种多分制目标检测算法评价系统及方法技术方案

多分制目标检测算法评价系统，包括算法输入模块，用于输入待测算法；测试集准备模块，根据待测算法选择具有被测目标种类的测试集；综合评分模块用于图像质量评分、图像分辨率评分、目标质量评分、目标大小评分加权得到总体综合评分；应用场景评分模块用于对场景图像分辨率评分、场景目标质量评分、场景目标大小评分加权得到应用场景评分；自由评分模块，根据用户测试需求自定义参数生成对应测试集以完成针对性的测评。同时公开一种多分制目标检测算法评价方法。能给出总体综合评分、应用场景评分、综合自由评分，不仅能客观反映出算法的好坏，还能反映出算法的好坏领域，而且能给算法设计者明确的优化方向，使算法优化更有针对性和目的性。

An evaluation system and method of multi-point target detection algorithm

【技术实现步骤摘要】
一种多分制目标检测算法评价系统及方法
本专利技术涉及图像处理与目标检测技术，尤其与一种多分制目标检测算法评价系统及方法相关。
技术介绍
目标检测技术是近年来计算机视觉领域中备受关注的方向，主要涉及计算机视觉、图像处理、人工智能、模式识别等学科，被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。目前，在对目标检测算法的测评中，通常用准确率和召回率来描述一种算法的好坏，而mAP（meanAveragePrecision）及F-Score作为一个兼顾考虑以上两种指标，并被广泛应用。然而，传统的mAP或F-Score计算方法并不能定量反映出算法在哪些领域的擅长之处或弱点，也不能为算法设计者提供优化点，且通常存在评价片面、针对性不够强不够全面，也不能够根据应用场景进行倾向性评价。因此，需要开发多分制的评价系统，结合多种评分参数及多种评价类型，提供更加全面的评价功能。
技术实现思路
本专利技术主要针对相关现有技术的不足，提供一种多分制目标检测算法评价系统及方法，能给出总体综合评分、应用场景评分、综合自由评分，不仅能客观反映出算法的好坏，还能反映出算法的好坏领域，而且能给算法设计者明确的优化方向，使算法优化更有针对性和目的性。为了实现上述目的，本专利技术采用以下技术：一种多分制目标检测算法评价系统，其特征在于，包括：算法输入模块，用于输入待测算法；测试集准备模块，用于根据待测算法选择具有被测目标种类的测试集；综合评分模块，用于根据图像质量、图像分辨率、目标质量、目标大小将测试集分别划分为四类具有多个不同等级的数据集，其中，在根据图像质量将测试集划分前，先对测试集进行加噪处理；通过对各不同类的数据集分别计算mAP以分别获得总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分，并将各总体评分进行平均加权得到总体综合评分；应用场景评分模块，用于对测试集进行加噪处理并根据图像质量将测试集划分为不同等级的数据集，以等级最好的两个数据集中的一个数据集计算mAP以获得场景图像质量评分，并根据预设的图像分辨率参数、目标质量参数、目标大小参数分别从测试集中分别生成对应的场景数据集，以不同的场景数据集分别计算mAP以分别获得场景图像分辨率评分、场景目标质量评分、场景目标大小评分，并将各场景评分进行平均加权得到应用场景评分；自由评分模块，用于根据预设的自由测试场景及对应预设的自由场景参数从测试集中生成对应的自由数据集，其中，预设的自由测试场景包括自由图像质量场景、自由图像分辨率场景、自由目标质量场景、自由目标大小场景中至少一种；并通过自由数据集计算mAP以获得对应自由测试场景的自由评分，且在获得两种以上自由评分时，将各自由评分进行平均加权得到综合自由评分；在只获得一种自由评分时，以该种自由评分作为综合自由评分。一种多分制目标检测算法评价方法，其特征在于，包括步骤：根据输入的待测算法选择具有被测目标种类的测试集；响应于用户的输入选择，执行综合评分方法、应用场景评分方法、自由评分方法中至少一种评分方法；其中：综合评分方法，包括步骤：根据图像质量、图像分辨率、目标质量、目标大小将测试集分别划分为四类具有多个不同等级的数据集，其中，在根据图像质量将测试集划分前，先对测试集进行加噪处理；通过对各不同类的数据集分别计算mAP以分别获得总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分；将各总体评分进行平均加权得到总体综合评分；应用场景评分方法，包括步骤：对测试集进行加噪处理并根据图像质量将测试集划分为不同等级的数据集，以等级最好的两个数据集中的一个数据集计算mAP以获得场景图像质量评分；根据预设的图像分辨率参数、目标质量参数、目标大小参数分别从测试集中分别生成对应的场景数据集；以不同的场景数据集分别计算mAP以分别获得场景图像分辨率评分、场景目标质量评分、场景目标大小评分；将各场景评分进行平均加权得到应用场景评分；自由评分方法，包括步骤：根据预设的自由测试场景及对应预设的自由场景参数从测试集中生成对应的自由数据集，其中，预设的自由测试场景包括自由图像质量场景、自由图像分辨率场景、自由目标质量场景、自由目标大小场景中至少一种；通过自由数据集计算mAP以获得对应自由测试场景的自由评分；在获得两种以上自由评分时，将各自由评分进行平均加权得到综合自由评分；在只获得一种自由评分时，以该种自由评分作为综合自由评分。本专利技术有益效果在于：1、传统评分方法是对一批测试集直接进行目标检测，得到预测标签，并采用mAP或FnScore的方法得到预测标签与真实标签之间的评分，由于测试集没做任务限定，因此不能定量反映出算法在哪些领域的擅长之处或弱点，也不能与算法设计者提供优化点；相比于传统方法，本专利技术的方法/系统，能根据评价需求给出总体综合评分、应用场景评分、综合自由评分，具体到综合图像质量评分、综合图像分辨率评分、综合图像目标质量评分、综合图像目标大小评分；以及应用场景图像质量评分、场景图像分辨率评分、场景图像目标质量评分、应用场景图像目标大小评分，还可以进行自由的评分，不仅能客观反映出算法的好坏，还能反映出算法的好坏领域，而且能给算法设计者明确的优化方向，使算法优化更有针对性和目的性；2、总体综合评分可以客观反映待测算法的总体综合评分，具体的，在本专利技术的总体综合评分中同时结合了图像质量、图像分辨率、目标质量、目标大小进行综合总评，其中，图像质量和目标质量评分中采用了归一化权重处理方式，目标质量和目标大小采用平均权重处理方式，总评采用平均权重处理方式，更加全面的考虑及结合了不同图像属性的因素，利于对待测算法进行更全面、有效、准确的测评。3、通过应用场景评分，可以实现专家/用户参数的设置，针对性的评价待测算法在特定应用场景时的效果；4、通过自由评分，可以根据某些算法对某些特定场景项目进行单独测评，比如只对算法进行目标大小的评分，或分辨率大小评分，又或以上两项或其他项目进行评分，使用者可按照自己的想法，自由评分。附图说明图1为本申请实施例的评价系统结构框图。图2为本申请实施例的综合评分模块结构框图。图3为本申请实施例的应用场景评分模块结构框图。图4为本申请实施例的自由评分模块结构框图。图5为本申请实施例的评价方法步骤流程图。图6为本申请实施例的综合评分法步骤流程图。图7为本申请实施例的应用场景评分法步骤流程图。图8为本申请实施例的自由评分法步骤流程图。具体实施方式下面结合附图，详细说明本申请的系统及方法的实施手段/方式，并附实例。具体的，作为本申请的实施例，评价系统的整体结构框架如图1所示：系统包括算法输入模块、测试集准备模块、综合评分模块、应用场景评分模块、自由评分模块，以及输出模块。算法输入模块连接本文档来自技高网...

【技术保护点】
1.一种多分制目标检测算法评价系统，其特征在于，包括：/n算法输入模块，用于输入待测算法；/n测试集准备模块，用于根据待测算法选择具有被测目标种类的测试集；/n综合评分模块，用于根据图像质量、图像分辨率、目标质量、目标大小将测试集分别划分为四类具有多个不同等级的数据集，其中，在根据图像质量将测试集划分前，先对测试集进行加噪处理；通过对各不同类的数据集分别计算mAP以分别获得总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分，并将各总体评分进行平均加权得到总体综合评分；/n应用场景评分模块，用于对测试集进行加噪处理并根据图像质量将测试集划分为不同等级的数据集，以等级最好的两个数据集中的一个数据集计算mAP以获得场景图像质量评分，并根据预设的图像分辨率参数、目标质量参数、目标大小参数分别从测试集中分别生成对应的场景数据集，以不同的场景数据集分别计算mAP以分别获得场景图像分辨率评分、场景目标质量评分、场景目标大小评分，并将各场景评分进行平均加权得到应用场景评分；/n自由评分模块，用于根据预设的自由测试场景及对应预设的自由场景参数从测试集中生成对应的自由数据集，其中，预设的自由测试场景包括自由图像质量场景、自由图像分辨率场景、自由目标质量场景、自由目标大小场景中至少一种；并通过自由数据集计算mAP 以获得对应自由测试场景的自由评分，且在获得两种以上自由评分时，将各自由评分进行平均加权得到综合自由评分；在只获得一种自由评分时，以该种自由评分作为综合自由评分。/n...

【技术特征摘要】
1.一种多分制目标检测算法评价系统，其特征在于，包括：
算法输入模块，用于输入待测算法；
测试集准备模块，用于根据待测算法选择具有被测目标种类的测试集；
综合评分模块，用于根据图像质量、图像分辨率、目标质量、目标大小将测试集分别划分为四类具有多个不同等级的数据集，其中，在根据图像质量将测试集划分前，先对测试集进行加噪处理；通过对各不同类的数据集分别计算mAP以分别获得总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分，并将各总体评分进行平均加权得到总体综合评分；
应用场景评分模块，用于对测试集进行加噪处理并根据图像质量将测试集划分为不同等级的数据集，以等级最好的两个数据集中的一个数据集计算mAP以获得场景图像质量评分，并根据预设的图像分辨率参数、目标质量参数、目标大小参数分别从测试集中分别生成对应的场景数据集，以不同的场景数据集分别计算mAP以分别获得场景图像分辨率评分、场景目标质量评分、场景目标大小评分，并将各场景评分进行平均加权得到应用场景评分；
自由评分模块，用于根据预设的自由测试场景及对应预设的自由场景参数从测试集中生成对应的自由数据集，其中，预设的自由测试场景包括自由图像质量场景、自由图像分辨率场景、自由目标质量场景、自由目标大小场景中至少一种；并通过自由数据集计算mAP以获得对应自由测试场景的自由评分，且在获得两种以上自由评分时，将各自由评分进行平均加权得到综合自由评分；在只获得一种自由评分时，以该种自由评分作为综合自由评分。


2.根据权利要求1所述的多分制目标检测算法评价系统，其特征在于，综合评分模块，包括：
总体图像质量数据集生成单元，用于对测试集进行加噪处理，并根据图像质量评价指标获得测试集每张图像的距离指标，根据距离指标将测试集划分为多个质量等级的数据集；
总体图像分辨率数据集生成单元，用于根据图像分辨率大小将测试集划分为多个不同等级的数据集；
总体目标质量数据集生成单元，用于根据目标质量好差将测试集划分为多个不同等级的数据集；
总体目标大小数据集生成单元，用于根据目标大小将测试集划分为多个不同等级的数据集；
总体图像质量评分单元，用于通过总体图像质量数据集生成单元生成的数据集分别对待测算法进行测试，分别计算mAP，利用归一化权重对各等级对应的mAP评分进行加权处理获得总体图像质量评分；
总体图像分辨率评分单元，用于通过总体图像分辨率数据集生成单元生成的数据集分别对待测算法进行测试，分别计算mAP，利用平均权重对各等级对应的mAP评分进行加权处理获得总体图像分辨率评分；
总体目标质量评分单元，用于通过总体目标质量数据集生成单元生成的数据集分别对待测算法进行测试，分别计算mAP，利用归一化权重对各等级对应的mAP评分进行加权处理获得总体目标质量评分；
总体目标大小评分单元，用于通过总体目标数据集生成单元生成的数据集分别对待测算法进行测试，分别计算mAP，利用平均权重对各等级对应的mAP评分进行加权处理获得总体目标大小评分；
总体综合评分单元，用于对总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分进行平均加权处理获得总体综合评分。


3.根据权利要求2所述的多分制目标检测算法评价系统，其特征在于，综合评分模块，还包括归一化权重生成单元，用于对不同等级mAP评分设定不同等级的同程度分；根据不同等级取得同程度分时分别对应需要的mAP分数，计算各等级对应的权重；对各等级对应的权重进行归一化处理，获得各等级对应的归一化权重。


4.根据权利要求1所述的多分制目标检测算法评价系统，其特征在于，应用场景评分模块，包括：
场景图像质量数据集生成单元，用于对测试集进行加噪处理，并根据图像质量评价指标获得测试集每张图像的距离指标，根据距离指标将测试集划分为多个质量等级的数据集，将其中等级最好的两个数据集中的一个数据集作为场景图像质量数据集；
场景图像分辨率数据集生成单元，用于根据预设的分辨率参数从测试集中生成与该预设的分辨率参数对应的场景图像分辨率数据集；
场景目标质量数据集生成单元，用于根据预...

【专利技术属性】
技术研发人员：罗庚，陈英爽，蒋爽，徐涛，
申请(专利权)人：成都傅立叶电子科技有限公司，深圳市特发信息股份有限公司，
类型：发明
国别省市：四川;51