一种图像的质量评价方法及装置制造方法及图纸

一种图像的质量评价方法及装置，用于针对两类不同的失真类型的图像质量分别进行预测，降低不同失真类型的预测结果的相互影响，提高预测准确率。本申请通过分类网络进行失真类型的分类，失真类型划分为两类，分别为生成类失真和非生成类失真。生成类失真对应的第一质量回归网络和非生成类失真对应第二质量回归网络分别独立预测图像的质量。第一质量回归网络与第二质量回归网络的网络参数不同。第一质量回归网络与第二质量回归网络进行质量预测时并不会相互影响，从而可以提高预测的准确度。另外，通过两种失真类型的划分，可以降低预测的复杂度。的复杂度。的复杂度。

【技术实现步骤摘要】
一种图像的质量评价方法及装置


[0001]本申请涉及图像处理
，特别涉及一种图像的质量评价方法及装置。

技术介绍

[0002]无参考质量评价(No
‑
Reference QA)方法是指不借助任何无失真参考图像的信息，直接对失真图像进行质量评价的方法。目前，可以基于深度学习算法来对图像进行无参考质量评价。采用的深度学习算法通过两个网络，包括分类层网络和质量回归层网络，分类层网络输出图像所属失真类型的概率，若有K类失真，则输出K类失真的概率，K类失真概率总和为1。质量回归层实现图像的质量预测，该层网络会输出K类失真分别对应的分数。然后将分类层网络输出的概率作为权重，与质量回归层输出的分数进行加权求和，得到最终的图像质量预测分数。
[0003]以上采用加权的方式进行质量预测，导致不同的失真类型的预测结果相互影响，从而会限制特定某种异常失真类型的主观一致性性能。

技术实现思路

[0004]本申请实施例提供一种图像的质量评价方法及装置，针对两类不同的失真类型的质量分别进行预测，降低不同失真类型的预测结果的相互影响，提高预测准确率。
[0005]第一方面，本申请实施例提供一种图像的质量评价方法，包括：获取待评估图像；通过预测模型中的分类网络确定待评估图像的失真类型，待评估图像的失真类型为生成类失真或者非生成类失真，生成类失真用于表征采用生成对抗网络进行图像处理产生的失真；通过预测模型中的第一质量回归网络对待评估图像的图像质量进行预测以得到第一预测结果，以及通过预测模型中的第二质量回归网络对待评估图像的图像质量进行预测以得到第二预测结果；第一质量回归网络用于评估图像上产生的生成类失真的失真情况(或者说失真信息、失真程度等)；第二质量回归网络用于评估图像上产生的非生成类失真的失真情况(或者说失真信息、失真程度等)；当分类网络确定待评估图像的失真类型为生成类失真时，将第一预测结果作为待评估图像的质量预测结果；当分类网络确定待评估图像的失真类型为非生成类失真时，将第二预测结果作为待评估图像的质量预测结果。
[0006]本申请实施例通过独立的三个网络分别进行失真类型分类以及质量预测，不同失真类型的图像质量预测之间并不会相互影响，可以提高预测的准确度。进一步地，通过两种失真类型的划分，避免分类较多导致的较高复杂度。另外，分类的类别越多，分类器无法识别类型的可能性越大，分类的准确度越低。并且分类的类别越多，所需要的训练样本越多。本申请实施例通过两种失真类型的划分对图像的质量进行预测，提高预测结果的准确度的同时，还可以降低预测的复杂度。此外，通过三个网络并行执行操作，可以减少预测时延，提高预测的效率。
[0007]在一种可能的设计中，方法还包括：通过预测模型中的共享网络提取待评估图像包括的共享特征得到特征图像，共享特征是分类网络、第一质量回归网络以及第二质量回
归网络的共享的特征；通过分类网络确定待评估图像的失真类型，包括：通过分类网络基于特征图像确定待评估图像的失真类型；通过第一质量回归网络对待评估图像的图像质量进行预测得到第一预测结果，包括：通过第一质量回归网络基于特征图像对待评估图像的图像质量进行预测以得到第一预测结果；通过第二质量回归网络对待评估图像的图像质量进行预测以得到第二预测结果，包括：通过第二质量回归网络基于特征图像对待评估图像的图像质量进行预测得到第二预测结果。
[0008]上述设计，通过在增加共享网络，对分类网络、第一质量回归网络以及第二质量回归网络的共享的特征进行提取，即共享网络的网络参数是三个网络共享的，可以减少网络参数的数量，即减少训练所需调整网络参数的数量，进而可以提高训练效率。
[0009]在一种可能的设计中，预测模型是通过训练样本集合进行多次迭代训练得到的，训练样本集合中包括多个失真图像和多个失真图像中每个失真图像对应的失真类型以及对应的质量评估结果。
[0010]在一种可能的设计中，多个失真图像属于多个失真图像组，每个失真图像组包括针对一张图像采用多种图像处理方式处理后产生的不同失真等级的图像，多种图像处理方式包括生成对抗网络方式以及除生成对抗网络方式以外的至少一种图像处理方式。
[0011]在一种可能的设计中，多次迭代训练中的第i次迭代训练中，当采用分类网络确定的第i张失真图像的失真类型与训练样本集合中第i张失真图像对应的失真类型不匹配时，对分类网络的网络参数进行调整，其中i为大于0的整数；或者，多次迭代训练中的第j次迭代训练中，当采用分类网络确定的第j张失真图像的失真类型与训练样本集合中第j张失真图像对应的失真类型匹配且失真类型为生成类失真时，根据预测模型输出的质量预测结果以及训练样本集合中第j张失真图像对应的质量评估结果对第一质量回归网络的网络参数进行调整，其中j为大于0的整数；或者，多次迭代训练中的第k次迭代训练中，当采用的分类网络确定的第k张失真图像的失真类型与训练样本集合中第k张失真图像对应的失真类型匹配且失真类型为非生成类失真时，根据预测模型输出的质量预测结果以及训练样本集合中第k张失真图像对应的质量评估结果对第二质量回归网络的网络参数进行调整，其中k为大于0的整数。
[0012]现有技术将分类层网络输出的概率作为权重，与质量回归层输出的分数进行加权求和获得图像质量预测分数的方式，在训练过程中，由于不同的失真类型都会影响分类层网络参数以及质量回归层的参数，从而会限制特定某种异常失真类型的主观一致性性能。尤其是当异常失真类型的样本数远少于其它失真类型样本时，网络会偏向于其它类型失真，使得异常失真类型的主观一致性远差于网络在其它失真类型上的平均性能。而本申请实施例提供的方案中，不同的失真类型对应的质量回归网络之间并不会相互影响，从而不会限定某一异常失真类型的主观一致性性能，可以提高不同失真类型尤其异常类型的质量预测准确度。
[0013]在一种可能的设计中，分类网络包括至少一个第一卷积层、至少一个第一池化层以及至少一个第一全连接层；通过分类网络确定待评估图像的失真类型，包括：通过至少一个第一卷积层对输入分类网络的图像进行卷积处理以得到用于表征图像失真类型的第一失真类型特征；通过至少一个第一池化层对第一失真类型特征进行池化处理以得到第二失真类型特征；通过至少一个第一全连接层对第二失真类型特征进行处理以得到待评估图像
的失真类型的分类结果。
[0014]在一种可能的设计中，所述第一质量回归网络包括至少一个第二卷积层、至少一个第二池化层以及至少一个第二全连接层；所述通过第一质量回归网络对所述待评估图像的图像质量进行预测得到第一预测结果，包括：通过所述至少一个第二卷积层对输入所述第一质量回归网络的图像进行卷积处理以得到用于表征生成类失真的图像质量的第一图像质量特征；通过所述至少一个第二池化层对所述第一图像质量特征进行池化处理得到第二图像质量特征；通过所述至少一个第二全连接层对所述第二图像质量特征进行处理以得到所述待评估图像的失真类型为生成类失真时的第一预测结果。
[0015]在一种可能的设计中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的质量评价方法，其特征在于，包括：获取待评估图像；通过预测模型中的分类网络确定所述待评估图像的失真类型，所述待评估图像的失真类型为生成类失真或者非生成类失真，所述生成类失真用于表征采用生成对抗网络进行图像处理产生的失真；通过所述预测模型中的第一质量回归网络对所述待评估图像的图像质量进行预测以得到第一预测结果，以及通过所述预测模型中的第二质量回归网络对所述待评估图像的图像质量进行预测以得到第二预测结果；所述第一质量回归网络用于评估图像上产生的生成类失真的失真信息；所述第二质量回归网络用于评估图像上产生的非生成类失真的失真信息；当所述分类网络确定所述待评估图像的失真类型为生成类失真时，将所述第一预测结果作为所述待评估图像的质量预测结果；当所述分类网络确定所述待评估图像的失真类型为非生成类失真时，将所述第二预测结果作为所述待评估图像的质量预测结果。2.如权利要求1所述的方法，其特征在于，所述方法还包括：通过所述预测模型中的共享网络提取所述待评估图像包括的共享特征以得到特征图像，所述共享特征是所述分类网络、所述第一质量回归网络以及所述第二质量回归网络的共享的特征；所述通过分类网络确定所述待评估图像的失真类型，包括：通过所述分类网络基于所述特征图像确定所述待评估图像的失真类型；所述通过第一质量回归网络对所述待评估图像的图像质量进行预测以得到第一预测结果，包括：通过所述第一质量回归网络基于所述特征图像对所述待评估图像的图像质量进行预测以得到所述第一预测结果；所述通过第二质量回归网络对待评估图像的图像质量进行预测以得到第二预测结果；通过所述第二质量回归网络基于所述特征图像对所述待评估图像的图像质量进行预测以得到所述第二预测结果。3.如权利要求1或2所述的方法，其特征在于，所述预测模型是通过训练样本集合进行多次迭代训练得到的，所述训练样本集合中包括多个失真图像和所述多个失真图像中每个失真图像对应的失真类型以及对应的质量评估结果。4.如权利要求3所述的方法，其特征在于，所述多个失真图像属于多个失真图像组，每个失真图像组包括针对一张图像采用多种图像处理方式处理后产生的不同失真等级的图像，所述多种图像处理方式包括所述生成对抗网络方式以及除所述生成对抗网络方式以外的至少一种图像处理方式。5.如权利要求3或4所述的方法，其特征在于，所述多次迭代训练中的第i次迭代训练中，当采用所述分类网络确定的第i张失真图像的失真类型与所述训练样本集合中所述第i张失真图像对应的失真类型不匹配时，对所述分类网络的网络参数进行调整，其中i为大于0的整数；或者，所述多次迭代训练中的第j次迭代训练中，当采用所述分类网络确定的第j张失真图像的失真类型与所述训练样本集合中所述第j张失真图像对应的失真类型匹配且失真类型为
生成类失真时，根据所述预测模型输出的质量预测结果以及所述训练样本集合中所述第j张失真图像对应的质量评估结果对所述第一质量回归网络的网络参数进行调整，其中j为大于0的整数；或者，所述多次迭代训练中的第k次迭代训练中，当采用的所述分类网络确定的第k张失真图像的失真类型与所述训练样本集合中所述第k张失真图像对应的失真类型匹配且失真类型为非生成类失真时，根据所述预测模型输出的质量预测结果以及所述训练样本集合中所述第k张失真图像对应的质量评估结果对所述第二质量回归网络的网络参数进行调整，其中k为大于0的整数。6.如权利要求1
‑
5任一项所述的方法，其特征在于，所述分类网络包括至少一个卷积层、至少一个池化层以及至少一个全连接层；通过分类网络确定所述待评估图像的失真类型，包括：通过所述至少一个卷积层对所述待评估图像进行卷积处理得到用于表征图像失真类型的第一失真类型特征；通过所述至少一个池化层对所述第一失真类型特征进行池化处理以得到第二失真类型特征；通过所述至少一个全连接层对所述第二失真类型特征进行处理以得到所述待评估图像的失真类型。7.一种图像的质量评价方法，其特征在于，包括：获取待评估图像；通过预测模型中的分类网络确定所述待评估图像的失真类型，所述待评估图像的失真类型为生成类失真或者非生成类失真，所述生成类失真用于表征采用生成对抗网络进行图像处理产生的失真；当所述分类网络确定所述待评估图像的失真类型为生成类失真时，通过所述预测模型中的第一质量回归网络对所述待评估图像的图像质量进行预测以得到第一预测结果，所述第一质量回归网络用于评估图像上产生的生成类失真的失真信息；或者，当所述分类网络确定所述待评估图像的失真类型为非生成类失真时，通过所述预测模型中的第二质量回归网络对待评估图像的图像质量进行预测以得到第二预测结果，所述第二质量回归网络用于评估图像上产生的非生成类失真的失真信息。8.如权利要求7所述的方法，其特征在于，所述方法还包括：通过所述预测模型中的共享网络提取所述待评估图像包括的共享特征得到特征图像，所述共享特征是所述分类网络、所述第一质量回归网络以及所述第二质量回归网络的共享的特征；所述通过分类网络确定所述待评估图像的失真类型，包括：通过所述分类网络基于所述特征图像确定所述待评估图像的失真类型；所述通过第一质量回归网络对所述待评估图像的图像质量进行预测以得到第一预测结果，包括：通过所述第一质量回归网络基于所述特征图像对所述待评估图像的图像质量进行预测以得到所述第一预测结果；所述通过第二质量回归网络对待评估图像的图像质量进行预测以得到第二预测结果；
通过所述第二质量回归网络基于所述特征图像对所述待评估图像的图像质量进行预测以得到所述第二预测结果。9.如权利要求7或8所述的方法，其特征在于，所述预测模型是通过训练集合训练得到的，所述训练集合中包括多个失真图像和所述多个失真图像中每个失真图像对应的失真类型以及对应的质量评估结果。10.如权利要求8所述的方法，其特征在于，所述多个失真图像属于多个失真图像组，每个失真图像组包括针对一张图像采用多种图像处理方式处理后产生的不同失真等级的图像，所述多种图像处理方式包括所述生成对抗网络方式以及除所述生成对抗网络方式以外的至少一种图像处理方式。11.如权利要求9或10所述的方法，其特征在于，所述多次迭代训练中的第i次迭代训练中，当采用所述分类网络确定的第i张失真图像的失真类型与所述训练样本集合中所述第i张失真图像对应的失真类型不匹配时，对所述分类网络的网络参数进行调整，其中i为大于0的整数；或者，所述多次迭代训练中的第j次迭代训练中，当采用所述分类网络确定的第j张失真图像的失真类型与所述训练样本集合中所述第j张失真图像对应的失真类型匹配且失真类型为生成类失真时，根据所述预测模型输出的质量预测结果以及所述训练样本集合中所述第j张失真图像对应的质量评估结果对所述第一质量回归网络的网络参数进行调整，其中j为大于0的整数；或者，所述多次迭代训练中的第k次迭代训练中，当采用所述分类网络确定的第k张失真图像的失真类型与所述训练样本集合中所述第k张失真图像对应的失真类型匹配且失真类型为非生成类失真时，根据所述预测模型输出的质量预测结果以及所述训练样本集合中所述第k张失真图像对应的质量评估结果对所述第二质量回归网络的网络参数进行调整，其中k为大于0的整数。12.如权利要求7
‑
11任一项所述的方法，其特征在于，所述分类网络包括至少一个卷积层、至少一个池化层以及至少一个第一全连接层；通过分类网络确定所述待评估图像的失真类型，包括：通过所述至少一个卷积层对所述待评估图像进行卷积处理以得到用于表征图像失真类型的第一失真类型特征；通过所述至少一个池化层对所述第一失真类型特征进行池化处理以得到第二失真类型特征；通过所述至少一个全连接层对所述第二失真类型特征进行处理以得到所述待评估图像的失真类型的分类结果。13.一种图像的质量评价装置，其特征在于，包括接收模块、预测模型以及控制模块；所述预测模型包括分类网络、第一质量回归网络以及第二质量回归网络；所述接收模块，用于获取待评估图像；所述预测模型，用于通过所述分类网络确定所述待评估图像的失真类型，所述待评估图像的失真类型为生成类失真或者非生成类失真，所述...

【专利技术属性】
技术研发人员：虞露，方致高，孙宇乐，赵寅，
申请(专利权)人：浙江大学，
类型：发明
国别省市：