一种图像质量评价方法、模型训练方法及装置制造方法及图纸

本发明专利技术提供一种图像质量评价方法、模型训练方法及装置，该方法包括：获取待评价的第一图像；根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层。通过本发明专利技术提供的图像质量评价方法，可以提高图像质量评价的准确性。可以提高图像质量评价的准确性。可以提高图像质量评价的准确性。

【技术实现步骤摘要】
一种图像质量评价方法、模型训练方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种图像质量评价方法、模型训练方法及装置。

技术介绍

[0002]目前，很多图像应用的技术都与图像质量的好坏关联紧密，例如，人脸识别、身份证识别等。以人脸识别为例，人脸图像在采集、压缩、存储以及显示的过程中会引入不同程度的噪声导致图像降质，特别是光照因素，而降质的人脸图像对于人脸识别准确性具有较大的影响。因此，通过对人脸图像质量进行评价，可以有效的减少低质量人脸图像输入到人脸识别系统中，从而提高人脸识别的准确性。
[0003]图像质量评价方式分为主观质量评价方式和客观质量评价方式，其中，主观质量评价方式依赖人工对图像质量进行评价，较为耗时耗力；客观质量评价方式更为简便且易集成到系统中，因此现有技术往往是基于客观质量评价方式进行图像质量评价，例如，基于深度学习进行图像质量评价方式。然而，现有的客观质量评价方式对图像质量进行评价所得到的图像质量评价结果往往与主观评价感受不相关，导致现有的客观质量评价方式对图像质量进行评价的准确性较低。

技术实现思路

[0004]本专利技术实施例提供一种图像质量评价方法、模型训练方法及装置，以解决现有的客观质量评价方式对图像质量进行评价的准确性较低的问题。
[0005]为了解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种图像质量评价方法，该方法包括：
[0007]获取待评价的第一图像；
[0008]根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；
[0009]其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。
[0010]第二方面，本专利技术实施例提供了一种模型训练方法，该方法包括：
[0011]获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；
[0012]根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；
[0013]其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。
[0014]第三方面，本专利技术实施例还提供一种图像质量评价装置，该装置包括：
[0015]第一获取模块，用于获取待评价的第一图像；
[0016]评价模块，用于根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；
[0017]其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。
[0018]第四方面，本专利技术实施例还提供一种模型训练装置，该装置包括：
[0019]第二获取模块，用于获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；
[0020]训练模块，用于根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；
[0021]其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。
[0022]第五方面，本专利技术实施例还提供一种图像质量评价装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像质量评价方法的步骤，或者实现上述的模型训练方法的步骤。
[0023]第六方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储
介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像质量评价方法的步骤，或者实现上述的模型训练方法的步骤。
[0024]本专利技术实施例中，通过在图像质量评价过程中考虑人视觉系统特性以相应获取视觉敏感度图，并基于视觉敏感度图对残差网络提取的特征图进行空间加权以对图像进行质量评价，可以提高图像质量评价的准确性。
附图说明
[0025]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是本专利技术实施例提供的图像质量评价方法的流程图；
[0027]图2是本专利技术实施例提供的视觉敏感度生成网络的示意图；
[0028]图3是本专利技术实施例提供的池化网络的示意图；
[0029]图4是本专利技术实施例提供的基于图像质量评价模型进行图像质量评价的示意图；
[0030]图5是本专利技术实施例提供的模型训练方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像质量评价方法，其特征在于，包括：获取待评价的第一图像；根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。2.根据权利要求1所述的方法，其特征在于，所述获取待评价的第一图像之后，所述方法还包括：确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域；所述根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果，包括：将所述第一图像、所述过曝光区域、所述欠曝光区域和所述正常曝光区域输入预先训练的图像质量评价模型，得到图像质量评价结果；其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述第一图像进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。3.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域，包括：计算所述第一图像的平均强度值和所述第一图像的标准差强度值；根据所述第一图像的平均强度值和所述第一图像的标准差强度值确定用于图像区域划分的第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。4.根据权利要求2所述的方法，其特征在于，所述第一子卷积网络、所述第二子卷积网络、所述第三子卷积网络和所述第四子卷积网络均包括串联连接的M个卷积层，M的取值为3、4或5。5.根据权利要求1所述的方法，其特征在于，所述视觉敏感度生成网络为unet网络，所述unet网络包括N个下采样网络和N个上采样网络，所述N个下采样网络之间串联连接，所述N个上采样网络之间串联连接；
所述N个下采样网络用于对所述第一特征图进行下采样处理以提取所述视觉敏感度特征，所述N个上采样网络用于对所述N个下采样网络输出的特征图进行上采样处理以生成所述视觉敏感度图；所述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，N的取值为3、4或5。6.根据权利要求5所述的方法，其特征在于，每个所述下采样网络均包括依次串联连接的卷积层、激活层和池化层；每个所述下采样网络均包括依次串联连接的反卷积层和激活层。7.根据权利要求1所述的方法，其特征在于，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第四特征图，所述批量归一化层用于对所述第四特征图进行归一化处理并输出第五特征图，所述激活层用于对所述第五特征图进行激活处理并输出第六特征图，所述点乘层用于对所述第六特征图和所述第三特征图中相同通道的特征图进行像素点的点乘并输出第七特征图，所述求均值层用于分别计算所述第七特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第七特征图的通道数相同。8.一种模型训练方法，其特征在于，包括：获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；根据所述S个图像样本中每个图像样本和每...

【专利技术属性】
技术研发人员：陈圣，吴海英，蒋宁，王洪斌，周迅溢，曾定衡，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：