图像质量评价及模型训练方法、装置、设备和存储介质制造方法及图纸

本公开公开了一种图像质量评价及模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域。图像质量评价方法包括：采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。本公开可以提高图像质量评价效果。

【技术实现步骤摘要】
图像质量评价及模型训练方法、装置、设备和存储介质
本公开涉及人工智能
，具体涉及计算机视觉、深度学习等
，尤其涉及一种图像质量评价及模型训练方法、装置、设备和存储介质。
技术介绍
图像质量评价(Imagequalityassessment，IQA)可以采用图像质量评价模型对图像进行处理，以得到质量分数。具体地，可以采用图像质量评价模型提取图像的图像特征，对图像特征进行融合，以得到融合特征，基于融合特征进行图像质量评价。相关技术中，图像特征融合时是对图像特征进行直接的向量拼接。
技术实现思路
本公开提供了一种图像质量评价及模型训练方法、装置、设备和存储介质。根据本公开的一方面，提供了一种图像质量评价方法，包括：采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。根据本公开的另一方面，提供了一种图像质量评价模型的训练方法，所述图像质量评价模型包括：特征提取网络和分数确定网络，所述方法包括：采用所述特征提取网络，提取样本图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述样本图像对包括参考图像和失真图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；采用所述分数确定网络，基于所述融合特征和所述输出特征确定所述失真图像的预测分数；基于所述预测分数确定损失函数，并基于所述损失函数训练所述特征提取网络和所述分数确定网络。根据本公开的另一方面，提供了一种图像质量评价装置，包括：提取模块，用于采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；确定模块，用于采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。根据本公开的另一方面，提供了一种图像质量评价模型的训练装置，所述图像质量评价模型包括：特征提取网络和分数确定网络，所述装置包括：提取模块，用于采用所述特征提取网络，提取样本图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述样本图像对包括参考图像和失真图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；确定模块，用于采用所述分数确定网络，基于所述融合特征和所述输出特征确定所述失真图像的预测分数；训练模块，用于基于所述预测分数确定损失函数，并基于所述损失函数训练所述特征提取网络和所述分数确定网络。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。根据本公开的技术方案，可以提高图像质量评价效果。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的示意图；图2是根据本公开第二实施例的示意图；图3是根据本公开第三实施例的示意图；图4是根据本公开第四实施例的示意图；图5是根据本公开第五实施例的示意图；图6是根据本公开第六实施例的示意图；图7是根据本公开第七实施例的示意图；图8是根据本公开第八实施例的示意图；图9是根据本公开第九实施例的示意图；图10是用来实现本公开实施例的图像质量评价及模型训练方法中任一方法的电子设备的示意图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。IQA的目的是使得采用图像质量评价模型得到的评价结果与主观质量评价保持一致，即，主观评价质量好的图像其IQA的质量分数也应该越高。采用模型进行质量评价时，可以通过对多个图像特征进行融合，基于融合特征进行质量评价。相关技术中，在融合时，可以分别将各个图像特征转换为向量，再对各个图像特征对应的向量进行直接拼接。但是，这种方式忽略了各个图像特征之间的空间位置关系，影响图像质量评价效果。为了提高图像质量评价效果，本公开示出如下的实施例。图1是根据本公开第一实施例的示意图。本实施例提供一种图像质量评价方法，该方法包括：101、采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述融合特征进行空间对齐处理，以得到所述每个图像的融合特征。102、采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。在进行图像质量评价时，可以采用图像质量评价模型进行。如图2所示，图像质量评价模型可以包括特征提取网络201和分数确定网络202。图像质量评价可以包括基于参考图像的图像质量评价，采用基于参考图像的图像质量评价时，图像质量评价模型的输入包括：参考图像和待评价图像，输出为待评价图像的质量分数。质量分数用于评价待评价图像相对于参考图像的质量好坏。参考图像可以基于具体的应用场景确定，比如，图像质量评价可以用于图像压缩、图像编解码等场景，以图像压缩为例，参考图像可以为压缩前的图像，待评价图像为压缩后的图像，通过确定压缩后的图像的质量分数，可以评价压缩效果，比如，压缩后的图像的质量分数较高，则压缩效果较好。特征提取网络可以为深度卷积神经网络(DeepConvolutionalNeuralNetwork，DCNN)，其骨干网络(backbone)比如为Resnet50。如图3所示，特征提取网络可以包括骨干网络301和融合模块302。骨干网络301用于提取输入的图像的图像特征，骨干网络包括多个卷积层，每个卷积层可以输出对应层的图像特征，从而可本文档来自技高网...

【技术保护点】
1.一种图像质量评价方法，包括：/n采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；/n采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。/n

【技术特征摘要】
1.一种图像质量评价方法，包括：
采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；
采用所述图像质量评价模型中的分数确定网络，基于所述融合特征和所述输出特征确定所述待评价图像的质量分数。


2.根据权利要求1所述的方法，其中，所述对所述待融合特征进行空间对齐处理，包括：
采用特征金字塔网络，对所述待融合特征进行空间对齐处理。


3.根据权利要求1或2所述的方法，其中，所述融合特征包括第一融合特征和第二融合特征，所述第一融合特征为所述参考图像对应的融合特征，所述第二融合特征为所述待评价图像对应的融合特征，所述输出特征包括第一输出特征和第二输出特征，所述第一输出特征为所述参考图像对应的输出特征，所述第二输出特征为所述待评价图像对应的输出特征，所述基于所述融合特征和所述输出特征确定所述待评价图像的质量分数，包括：
确定所述第一融合特征与所述第二融合特征的差分特征，以得到第一差分特征；
确定所述第一输出特征与所述第二输出特征的差分特征，以得到第二差分特征；
采用第一转换网络，将所述第一差分特征转换为分数特征；
采用第二转换网络，将所述第二差分特征转换为权重特征；
基于所述分数特征和所述权重特征，确定所述待评价图像的质量分数。


4.一种图像质量评价模型的训练方法，所述图像质量评价模型包括：特征提取网络和分数确定网络，所述方法包括：
采用所述特征提取网络，提取样本图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述样本图像对包括参考图像和失真图像，并对所述待融合特征进行空间对齐处理，以得到所述每个图像的融合特征；
采用所述分数确定网络，基于所述融合特征和所述输出特征确定所述失真图像的预测分数；
基于所述预测分数确定损失函数，并基于所述损失函数训练所述特征提取网络和所述分数确定网络。


5.根据权利要求4所述的方法，其中，所述对所述待融合特征进行空间对齐处理，包括：
采用特征金字塔网络，对所述待融合特征进行空间对齐处理。


6.根据权利要求4所述的方法，其中，所述融合特征包括第一融合特征和第二融合特征，所述第一融合特征为所述参考图像对应的融合特征，所述第二融合特征为所述失真图像对应的融合特征，所述输出特征包括第一输出特征和第二输出特征，所述第一输出特征为所述参考图像对应的输出特征，所述第二输出特征为所述失真图像对应的输出特征，所述基于所述融合特征和所述输出特征确定所述失真图像的预测分数，包括：
确定所述第一融合特征与所述第二融合特征的差分特征，以得到第一差分特征；
确定所述第一输出特征与所述第二输出特征的差分特征，以得到第二差分特征；
采用所述分数确定网络中的第一转换网络，将所述第一差分特征转换为分数特征；
采用所述分数确定网络中的第二转换网络，将所述第二差分特征转换为权重特征；
基于所述分数特征和所述权重特征，确定所述失真图像的预测分数。


7.根据权利要求4所述的方法，其中，所述样本图像对包括两个样本图像对，所述两个样本图像对包括相同的参考图像和不同的两个失真图像，所述预测分数包括分别对应所述两个失真图像的第一预测分数和第二预测分数，所述基于所述预测分数确定损失函数，包括：
基于所述第一预测分数和所述第二预测分数，确定预测偏好概率；
基于所述预测偏好概率和真实偏好概率，确定损失函数。


8.根据权利要求4-7任一项所述的方法，其中，所述样本图像对通过样本组构建，所述样本组为多组，每组样本组包括：参考图像、第一失真图像和第二失真图像，所述方法还包括：
将所述样本组分为多种类别的样本组，不同类别的样本组对应的难易程度不同，所述难以程度基于分数差值的绝对值确定，所述分数差值为所述第一失真图像的真实分数与所述第二失真图像的真实分数的差值；
所述基于所述损失函数训练所述特征提取网络和所述分数确定网络，包括：
按照所述难易程度从易到难的顺序，依此基于对应类别的样本组对应的损失函数，训练所述特征提取网络和所述分数确定网络。


9.根据权利要求4-7任一项所述的方法，其中，还包括：
获取已有图像对，所述已有图像对包括：已有参考图像和已有失真图像；
对所述已有参考图像和所述已有失真图像，进行相同的随机位置擦除处理，以得到扩展图像对；
基于所述已有图像对和所述扩展图像对构建所述样本图像对。


10.一种图像质量评价装置，包括：
提取模块，用于采用图像质量评价模型中的特征提取网络，提取图像对中每个图像的图像特征，所述图像特征包括待融合特征和输出特征，所述图像对包括：参考图像和待评价图像，并对所述待融合特征进行空间对齐处理...

【专利技术属性】
技术研发人员：朱若琳，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11