模型质量评估方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种模型质量评估方法、装置、设备及存储介质，至少应用于人工智能领域和模型质量评估领域，其中方法包括：对待评估模型在不同测试集下的图像三元组中的图像进行特征提取；基于提取到的图像三元组的原始图像特征、模板图像特征和处理图像特征，确定图像三元组在与相应测试集对应的评估维度下的第一类评估分；基于图像三元组中的模板图像的像素值和处理图像的像素值，确定图像三元组在与相应测试集对应的评估维度下的第二类评估分；根据第一类评估分和第二类评估分，对待评估模型进行模型质量评估。通过本申请，能够基于不同评估维度下的评估分，对待评估模型进行综合的模型质量评估，提高对模型质量评估的准确性。准确性。准确性。

【技术实现步骤摘要】
模型质量评估方法、装置、设备及存储介质


[0001]本申请实施例涉及互联网
，涉及但不限于一种模型质量评估方法、装置、设备及存储介质。

技术介绍

[0002]目前的图像处理（例如高清换脸技术）有非常多的应用场景，比如影视人像制作、游戏人物设计、虚拟形象、隐私保护等。目前，换脸方法的主要评估方式是以人主观对比为主，辅以基于图片生成质量的评价指标，例如峰值信噪比（PSNR，Peak signal
‑
to
‑
noise ratio）、弗雷歇起始距离（FID，Frechet Inception Distance）和人脸相似度的评估。
[0003]但是，主观评价很难将换脸结果的质量评估量化表示，由于换脸任务是一个综合的任务，而只看图像生成质量又缺乏全面性，因此，相关技术中，针对高清换脸的结果缺乏全面的质量评估体系，无法对换脸模型和换脸结果进行准确又全面的质量评估。

技术实现思路

[0004]本申请实施例提供一种模型质量评估方法、装置、设备及存储介质，至少应用于人工智能领域和模型质量评估领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型质量评估方法，其特征在于，所述方法包括：获取待评估模型在不同测试集下的图像三元组，所述图像三元组包括：原始图像、模板图像和处理图像，所述处理图像是基于所述图像三元组中的模板图像，对所述原始图像进行图像处理后得到的；对每一图像三元组中的所述原始图像、所述模板图像和所述处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分；基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第二类评估分；根据所述第一类评估分和所述第二类评估分，对所述待评估模型进行模型质量评估。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取不同测试集，其中，每一测试集中包括多对图像对，每一所述图像对包括一张原始图像和一张模板图像；通过所述待评估模型分别针对每一所述测试集中的每一图像对进行所述图像处理，得到处理图像；将所述图像对和所述处理图像构建成相应测试集下的一个图像三元组。3.根据权利要求1所述的方法，其特征在于，所述测试集包括自然测试集；所述第一类评估分包括自然分；与所述自然测试集对应的评估维度包括自然分评估维度；基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分，包括：获取所述自然测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像特征；基于所述模板图像特征，确定出所述模板图像中的第一目标区域的第一关键点特征；基于所述处理图像特征，确定出所述处理图像中的所述第一目标区域的第二关键点特征；基于所述模板图像特征和所述处理图像特征，确定所述多个图像三元组在所述自然测试集下的全局FID值；基于所述第一关键点特征和所述第二关键点特征，确定所述多个图像三元组在所述自然测试集下的局部FID值；对所述全局FID值和所述局部FID值进行加权求和，得到所述自然测试集下的图像三元组在所述自然分评估维度下的自然分。4.根据权利要求3所述的方法，其特征在于，基于所述模板图像特征和所述处理图像特征，确定所述多个图像三元组的全局FID值，包括：分别确定所述多个图像三元组对应的所述模板图像特征的特征均值、所述多个图像三元组对应的所述处理图像特征的特征均值；分别确定所述多个图像三元组对应的所述模板图像特征的协方差矩阵、所述多个图像
三元组对应的所述处理图像特征的协方差矩阵；基于所述模板图像特征的特征均值、所述处理图像特征的特征均值、所述模板图像特征的协方差矩阵和所述处理图像特征的协方差矩阵，确定所述多个图像三元组的全局FID值。5.根据权利要求3所述的方法，其特征在于，基于所述第一关键点特征和所述第二关键点特征，确定所述多个图像三元组的局部FID值，包括：分别确定所述多个图像三元组对应的多个模板图像中的第一关键点特征的特征均值、所述多个图像三元组对应的多个处理图像中的第二关键点特征的特征均值；分别确定所述多个模板图像中的第一关键点特征的协方差矩阵、所述多个处理图像中的第二关键点特征的协方差矩阵；基于所述第一关键点特征的特征均值、所述第二关键点特征的特征均值、所述第一关键点特征的协方差矩阵和所述第二关键点特征的协方差矩阵，确定所述多个图像三元组对应于所述第一目标区域的局部FID值。6.根据权利要求1所述的方法，其特征在于，所述测试集包括高清测试集；所述第一类评估分包括高清分；与所述高清测试集对应的评估维度包括高清分评估维度；基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分，包括：获取所述高清测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像特征；基于所述模板图像特征，确定出所述模板图像中的第二目标区域的第三关键点特征；基于所述处理图像特征，确定出所述处理图像中的所述第二目标区域的第四关键点特征；基于所述模板图像特征和所述处理图像特征，确定所述多个图像三元组在所述高清测试集下的全局FID值；基于所述第三关键点特征和所述第四关键点特征，确定所述多个图像三元组在所述高清测试集下的局部FID值；对所述全局FID值和所述局部FID值进行加权求和，得到所述高清测试集下的图像三元组在所述高清分评估维度下的高清分。7.根据权利要求1所述的方法，其特征在于，所述测试集包括自然测试集；所述第一类评估分包括相似度分；与所述自然测试集对应的评估维度包括相似度评估维度；基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三...

【专利技术属性】
技术研发人员：贺珂珂，朱俊伟，张昕昳，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：