基于孪生网络与特征融合的无参考图像质量评价方法技术

本发明专利技术属于多媒体处理技术领域，为提出无参考客观图像质量评价方法。为此，本发明专利技术采取的技术方案是，基于孪生网络与特征融合的无参考图像质量评价方法，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。本发明专利技术主要应用于多媒体处理场合。场合。场合。

【技术实现步骤摘要】
基于孪生网络与特征融合的无参考图像质量评价方法


[0001]本专利技术属于多媒体处理
，具体设计了一种基于孪生网络预训练策略与特征融合的无参考图像质量评价方法。

技术介绍

[0002]随着数字技术的快速发展，高质量的视觉信息吸引了越来越多的人的注意。由于视觉信息在压缩和传输过程中存在质量损失，图像质量评价对于准确获取高质量视觉信息变得非常重要。图像质量评价可分为主观图像质量评价和客观图像质量评价。主观质量评价方法使用人的主观来评估图像质量，然而，主观图像质量评价容易受到人的主观感受的影响，而且费时费力。为了解决主观图像质量评价的问题，客观图像质量评价应运而生，它旨在设计计算机算法来自动预测图像质量。根据参考图像的使用情况，它可以分为：全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。因为失真图像通常没有参考图像，无参考图像质量评价方法更适合于实际应用，并在军事、新闻、教育、医学、社交等方面发挥着不可替代的作用。
[0003]Kang等人[Kang L,Ye P,Li Y,et al.Convolutional neural networks for no
‑
reference imagequality assessment[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2014:1733
‑
1740.]提出了一种基于卷积神经网络的图像质量评价方法，利用卷积和池化的组合提取失真特征，然后使用全连接层将特征回归到一个质量分数上。Ma等人[Ma K, Liu W,Zhang K,et al.End
‑
to
‑
end blind image quality assessment using deep neural networks[J]. IEEE Transactions on Image Processing,2017,27(3):1202
‑
1213.]设计了一种多任务的卷积神经网络，在预测图像质量的同时识别失真类型从而对图像质量评价任务进行约束，从而增强网络对图像质量的评估能力。Wu等人[Wu J,Ma J,Liang F,et al.End
‑
to
‑
end blind image qualityprediction with cascaded deep neural network[J].IEEE Transactions on Image Processing,2020,29: 7414
‑
7426.]根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合质量评价网络。Su等人[Su S,Yan Q,Zhu Y,et al.Blindly assessimage quality in the wild guided by a self
‑
adaptive hyper network[C]//Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:3667
‑
3676.]提出一种用于真实失真的HyperIQA算法，该算法首先从ResNet50中提取语义特征，然后使用全连接层自适应地学习网络参数从而进行质量预测。史萍等人[史萍,潘达,应泽峰,等.一种基于多尺度生成对抗网络的无参考图像质量客观评价方法]通过多尺度生成对抗网络产生失真图像对应的相似质量图，再将不同尺度的相似质量图通过卷积神经网络进行回归得到图像质量分数。尽管这些网络取得了一定的成功，但是由于合成失真和真实失真之间存在巨大的差异，且这些网络通常是针对合成失真或真实失真中的某一种进行设计的，这使得现有的模型难以同时评估两种失真类型的数据集从而限制了实际应用。

技术实现思路

[0004]为克服现有技术的不足，本专利技术旨在提出无参考客观图像质量评价方法。为此，本专利技术采取的技术方案是，基于孪生网络与特征融合的无参考图像质量评价方法，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。
[0005]其中，基于孪生网络结构进行预训练的合成失真感知网络结构是以两个EfficientNet
‑
B0 为子网络构建的孪生网络结构，且两个EfficientNet
‑
B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分，保存结果最优的模型参数，将最优模型参数应用于合成失真感知网络；
[0006]其中，选择EfficientNet
‑
B0分类网络构建真实失真感知网络，采用图像分类任务作为预训练策略，并冻结网络参数。
[0007]将两个网络的输出进行特征融合并自适应地调整两个网络输出的权重是指，基于多尺度卷积块以及门控机制引入权重自适应融合网络以调节合成失真特征和真实失真特征的权重，权重自适应融合网络首先将合成失真感知网络和真实失真感知网络所提取的特征输入到对应的多尺度卷积块，在不同的感受野上感知特征并进行融合作为最终提取到的合成失真特征和真实失真特征，最后利用Sigmoid函数作为门控机制计算合成失真和真实失真特征的权重，并通过多尺度卷积块进一步进行特征增强。
[0008]合成失真感知网络采用孪生网络结构并在预训练过程中将失真图与其对应的参考图作为一对数据进行输入，通过对失真图特征与参考图特征之间的残差做回归获得预测值，同时使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新参数，直到训练损失达到最低。
[0009]权重自适应融合网络中使用的多尺度特征模块共包括3条支路，一条支路由一个步长为 2的3
×
3卷积构成；一条支路为一个步长为2的3
×
3卷积与一个步长为1的3
×
3卷积串联构成；一条支路为一个步长为2的1
×
1卷积构成。
[0010]权重自适应融合网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度特征模块建立在三组具有不同接收域的卷积层上，包括1
×
1、3
×
3、5
×
5卷积；为了实现与5
×
5卷积层相同的接受域，降低网络计算复杂度，使用两个3
×
3卷积层代替5
ꢀ×
5卷积层，这个过程被建模为：...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。2.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，其中，基于孪生网络结构进行预训练的合成失真感知网络结构是以两个EfficientNet
‑
B0为子网络构建的孪生网络结构，且两个EfficientNet
‑
B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分，保存结果最优的模型参数，将最优模型参数应用于合成失真感知网络；其中，选择EfficientNet
‑
B0分类网络构建真实失真感知网络，采用图像分类任务作为预训练策略，并冻结网络参数。3.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，将两个网络的输出进行特征融合并自适应地调整两个网络输出的权重是指，基于多尺度卷积块以及门控机制引入权重自适应融合网络以调节合成失真特征和真实失真特征的权重，权重自适应融合网络首先将合成失真感知网络和真实失真感知网络所提取的特征输入到对应的多尺度卷积块，在不同的感受野上感知特征并进行融合作为最终提取到的合成失真特征和真实失真特征，最后利用Sigmoid函数作为门控机制计算合成失真和真实失真特征的权重，并通过多尺度卷积块进一步进行特征增强。4.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，合成失真感知网络采用孪生网络结构并在预训练过程中将失真图与其对应的参考图作为一对数据进行输入，通过对失真图特征与参考图特征之间的残差做回归获得预测值，同时使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新参数，直到训练损失达到最低。5.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，权重自适应融合网络中使用的多尺度特征模块共包括3条支路，一条支路由一个步长为2的3
×
3卷积构成；一条支路为一个步长为2的3
×
3卷积与一个步长为1的3
×
3卷积串联构成；一条支路为一个步长为2的1
×
1卷积构成。6.如权利要求5所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，权重自适应融合网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度...

【专利技术属性】
技术研发人员：潘兆庆，武泽煦，雷建军，彭勃，沈丽丽，
申请(专利权)人：天津大学，
类型：发明
国别省市：