图像处理算法的质量评测方法、装置及电子设备制造方法及图纸

本公开提供了一种图像处理算法的质量评测方法、装置及电子设备，涉及信息处理技术领域。本公开所提供的技术方案，基于质量评测指标的各影响因素的组合，获取图像处理算法的测试数据集，能够有效平衡测试数据采集的覆盖度和测试成本；基于测试数据集和质量评测指标，对图像处理算法进行评测，能够准确评估算法的优化效果，而且可以提前退回不符合预期的算法优化需求，以节省人力测试成本。

【技术实现步骤摘要】
图像处理算法的质量评测方法、装置及电子设备
本公开涉及信息处理
，具体而言，本公开涉及一种图像处理算法的质量评测方法、装置及电子设备。
技术介绍
在计算机视觉领域中，图像处理算法泛指对图像进行处理的一系列算法。目前图像处理算法的主要研究方向有：图像分类算法、图像分割算法、图像关键点检测算法和图像检测算法等。在图像处理算法的实际使用过程中，为了提前发现不符合预期的算法优化效果需求，对图像处理算法后续优化方向提供参考，需要对图像处理算法的质量进行评测。为了保证质量评测的覆盖度，需要基于不同的应用场景，采集大量的测试数据，使得采集测试数据的成本较高。
技术实现思路
本公开提供了一种图像处理算法的质量评测方法、装置及电子设备，用于解决现有技术中存在的问题。第一方面，提供了一种图像处理算法的质量评测方法，该方法包括：获取图像处理算法的质量评测指标，以及质量评测指标的各影响因素；将各影响因素进行组合，得到质量评测指标对应的影响因素组合；根据质量评测指标对应的影响因素组合，确定与影响因素组合匹配的测试数据集；基于测试数据集和质量评测指标，对图像处理算法进行质量评测，得到质量评测结果。第二方面，提供了一种图像处理算法的质量评测装置，该装置包括：获取模块，用于获取图像处理算法的质量评测指标，以及质量评测指标的各影响因素；组合模块，用于将各影响因素进行组合，得到质量评测指标对应的影响因素组合；确定模块，用于根据质量评测指标对应的影响因素组合，确定与影响因素组合匹配的测试数据集；评测模块，用于基于测试数据集和质量评测指标，对图像处理算法进行质量评测，得到质量评测结果。第三方面，本公开提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行如本公开的第一方面所示的图像处理算法的质量评测方法对应的操作。第四方面，本公开提供了一种计算机可读介质，计算机可读介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行如本公开的第一方面所示的图像处理算法的质量评测方法。本公开提供的技术方案带来的有益效果是：在本公开实施例提供的图像处理算法的质量评测方法、装置及电子设备，基于质量评测指标的各影响因素的组合，获取图像处理算法的测试数据集，可以显著降低测试数据集的采集规模，有效平衡测试数据采集的覆盖度和测试成本；基于测试数据集和质量评测指标，对图像处理算法进行评测，能够准确评估算法的优化效果，可以提前退回不符合预期的算法优化需求，以节省人力测试成本。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。图1为本公开实施例提供的一种图像处理算法的质量评测方法的流程示意图；图2为本公开实施例提供的利用手势分类算法进行图像分类的流程示意图；图3为本公开实施例提供的手势分类算法的质量评测指标的影响因素示意图；图4为本公开实施例提供的本公开与现有技术相比的测试数据规模对比示意图；图5为本公开实施例提供的本公开与现有技术相比的测试数据采集消耗时间对比示意图；图6为本公开实施例提供的算法优化结果校验示意图；图7为本公开实施例提供的测试耗时和实际耗时对比示意图；图8为本公开实施例提供的一种图像处理算法的质量评测装置的结构示意图；图9为本公开实施例提供的人像分割算法的质量评测指标的影响因素示意图；图10为本公开实施例提供的人脸检测算法的质量评测指标的影响因素示意图；图11为本公开实施例提供的人脸关键点检测算法的质量评测指标的影响因素示意图；图12为本公开实施例提供的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对装置、模块或单元进行区分，并非用于限定这些装置、模块或单元一定为不同的装置、模块或单元，也并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。图1为本公开实施例提供的一种图像处理算法的质量评测方法的流程示意图，如图1所示，该方法可以包括：步骤S101，获取图像处理算法的质量评测指标，以及质量评测指标的各影响因素；本公开技术方案中的图像处理算法，是指根据图像中的目标的特征，对目标进行处理的算法。可以包括：图像分类算法、图像分割算法、图像关键点检测算法和图像检测算法等。各图像处理算法各自对应的质量评测指标不同。在对图像处理算法进行质量评测时，首先需要确定质量评测指标，可以选择有助于进行算法优化的评测指标。对于不同的图像处理算法，具体选用哪个或哪几个质量评测指标，可以是根据实际应用需求配置的，如可以是根据经验进行配置的。其次，在对图像处理算法进行质量评测时，还需要确定各质量评测指标对应的影响因素，质量评测指标的各影响因素可以基于具体的应用场景、质量评测指标、以及针对不同的图像处理算法来确定。步骤S102，将各影响因素进行组合，得到质量评测指标对应的影响因素组合；将质量评测指标对应的各影响因素进行组合，得到的所有组合的数量小于所有影响因素的数量。在一种可能的实现方式中，将各影响因素进行组合，包括：对于每一影响因素，将该影响因本文档来自技高网...

【技术保护点】
1.一种图像处理算法的质量评测方法，其特征在于，所述方法包括：/n获取图像处理算法的质量评测指标，以及所述质量评测指标的各影响因素；/n将所述各影响因素进行组合，得到所述质量评测指标对应的影响因素组合；/n根据所述质量评测指标对应的影响因素组合，确定与所述影响因素组合匹配的测试数据集；/n基于所述测试数据集和所述质量评测指标，对所述图像处理算法进行质量评测，得到质量评测结果。/n

【技术特征摘要】
1.一种图像处理算法的质量评测方法，其特征在于，所述方法包括：
获取图像处理算法的质量评测指标，以及所述质量评测指标的各影响因素；
将所述各影响因素进行组合，得到所述质量评测指标对应的影响因素组合；
根据所述质量评测指标对应的影响因素组合，确定与所述影响因素组合匹配的测试数据集；
基于所述测试数据集和所述质量评测指标，对所述图像处理算法进行质量评测，得到质量评测结果。


2.根据权利要求1所述的方法，其特征在于，所述将所述各影响因素进行组合，包括：
对于每一所述影响因素，将该影响因素与除该影响因素之外的至少一个影响因素进行组合。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述质量评测指标对应的影响因素组合，确定与所述影响因素组合匹配的测试数据集，包括：
获取各所述影响因素的组合的约束条件，所述约束条件用于表征禁止组合的影响因素；
基于各所述影响因素的组合，以及所述约束条件，确定测试数据集。


4.根据权利要求1或2所述的方法，其特征在于，所述图像处理算法为图像分类算法，所述图像分类算法的质量评测指标为准确率，所述准确率的影响因素包括所述图像分类算法的分类类别的数量，所述根据所述质量评测指标对应的影响因素组合，确定与所述影响因素组合匹配的测试数据集，包括：
获取各所述影响因素中除所述分类类别的数量之外的各影响因素的组合；
基于所述分类类别的数量，以及除所述分类类别的数量之外的各影响因素的组合，确定测试数据集。


5.根据权利要求4所述的方法，其特征在于，所述基于所述测试数据集和所述质量评测指标，对所述图像处理算法进行质量评测，得到质量评测结果，包括：
基于所述图像分类算法的测试数据集，对所述图像分类算法进行测试，得到所述图像分类算法的各分类类别的准确率的评测结果；
基于各所述分类类别的准确率的评测结果，得到所述图像分类算法的测试结果。


6.根据权利要求1或2所述的方法，其特征在于，所述图像处理算法为图像分割算法，所述图像分割算法的质量评测指标为平均交并比，所述平均交并比的影响因素包括所述图像分割算法的分割对象的数量，所述根据所述质量评测指标对应的影响因素组合，确定与所述影响因素组合匹配的测试数据集，包括：
获取各所述影响因素中除所述分割对象的数量之外的各影响因素的组合；
基于所述分割对象的数量，以及除所述分割对象的数量之外的各影响因素的组合，确定测试数据集。


7.根据权利要求6所述的方法，其特征在于，所述基于所述测试数据集和所述质量评测指标，对所述图像处理算法进行质量评测，得到质量评测结果，包括：
基于所述图像分割算法的测试数据集，对所述图像分割算法进行测试，得到所述图像分割算法对不同数量的分割对象进行分割所对应的平均交并比的各评测结果；
基于所述图像分割算法对不同数量的分割对象进行分割所对应的平均交并比的各评测结果，得到所述图像分割算法的测试结果。


8.根据权利要求1或2所述的方法，其特征在于，所述图像处理算法为图像关键点检测算法，所述图像关键点检测算法的质...

【专利技术属性】
技术研发人员：刘红娟，林晓升，杨萍，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11