基于多局部图自适应加权的无参考图像质量评价方法技术

本发明专利技术公开了一种基于多局部图自适应加权的无参考图像质量评价方法，主要解决现有无参考图像质量评价方法在学习失真图像的全局内容语义时对样本量极少的公知数据库训练不充分、评价准确度不高和采用图像切块策略进行数据增强导致图像内容语义的全局性被破坏、算法泛化性能下降的问题。本发明专利技术的实现步骤为：构建质量评价网络和样本重要性加权网络；利用生成的训练集和元参考集交替训练质量评价网络和样本重要性加权网络；对失真图像进行质量评价。本发明专利技术在样本量不足时，充分扩增数据量的同时考虑图像全局内容语义，自适应地为训练集中局部图分配重要性权重，提高算法的泛化性能。能。能。

【技术实现步骤摘要】
基于多局部图自适应加权的无参考图像质量评价方法


[0001]本专利技术属于图像处理
，更进一步涉及图像质量评价
中的一种基于多局部图自适应加权的无参考图像质量评价方法。本专利技术可用于对没有原始参考图像的数字图像的感知质量进行客观评价。

技术介绍

[0002]数字图像在采集、传输和显示的过程中，经常受到光学系统、压缩等因素的影响，最终会使得用户获得的图像存在各种图像质量下降的问题。基于深度卷积神经网络的无参考图像质量评价方法在学习失真图像的全局内容语义时要求来自同一失真图像的所有局部图分布在同一训练批次中，导致其对样本量极少的公知数据库训练不充分、评价准确度不高。同时，广泛采用图像切块策略进行数据增强的现有方法，将图像的主观感知质量作为局部图的分数标签，导致图像内容语义的全局性被破坏、算法泛化性能下降。
[0003]Weixia Zhang等人在其发表的论文“Blind Image QualityAssessment Using a Deep Bilinear Convolutional Neural Network”(IEEE Transactions on Circuits and Systems for Video Technology.2018,30(1):36
‑
47.)中提出了用于无参考图像质量评估的深度双线性模型，该模型由两个深度卷积神经网络(CNN)流组成，分别专门处理合成和真实失真的图像。对于合成失真图像，该模型首先预训练一个CNN来对输入图像的失真类型和级别进行分类；对于真实的失真的图像，该模型使用预训练CNN(VGG
‑
16)进行图像分类任务。这两个特征集被双线性汇集到一个表示中，用于最终的质量预测。该模型存在的不足之处是，直接使用图像感知质量标记局部图的质量，没有考虑图像语义内容的整体性，导致评价过程不符合人类的真实主观感受且评价准确度不高。
[0004]杭州电子科技大学在其申请的专利文献“一种利用多层深度表征进行无参考图像质量预测的方法”(专利申请号：201710962452.1；申请公布号：CN 107743225A)中公开了一种利用多层深度表征进行无参考图像质量预测的方法。该方法将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式；然后利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量；最后将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数，并将各层分数平均值作为整张图片的质量评估分值。虽然该方法能够考虑到失真图像的整体语义内容，该方法存在的不足之处是，由于该方法将失真图像缩放到统一的尺寸大小，导致图像发生几何畸变而改变了图像的原始感知质量，使得模型参数的优化方向存在偏差，降低了模型的评价准确度和实用性。

技术实现思路

[0005]本专利技术的目的在于针对上述已有技术的不足，提出一种基于多局部图自适应加权的无参考图像质量评价方法，用于解决现有技术在学习失真图像的全局内容语义时对样本量极少的公知数据库训练不充分、评价准确度不高的问题，同时还用于解决现有技术采用
图像切块策略进行数据增强时，图像内容语义的全局性被破坏、算法泛化性能下降的问题。
[0006]为实现上述目的，本专利技术的思路是：本专利技术构建质量评价网络和样本重要性加权网络两个网络，利用生成的训练集和元参考集分别训练上述两种网络，由于元参考集中每个图像包由能够覆盖整张图像的多个局部图所组成，使得样本重要性加权网络能够学习图像全局内容语义。同时，由于使用图像切块策略扩增了训练集数据量，并且质量评价网络不要求来自同一失真图像的所有局部图分布在同一训练批次中，进而满足有效训练样本量极少的公知数据库的需求。由于本专利技术交替训练质量评价网络和样本重要性加权网络，样本重要性加权网络根据训练集中局部图的梯度与元参考集中图像包的梯度的相似性为训练集中局部图自适应地分配重要性权重，计算局部图的加权训练损失来更新质量评价网络参数，这种交替式的训练模式使得质量评价网络在评价局部质量时考虑到全局内容语义，缓解由图像切块策略导致的标签噪音的危害，提高质量评价网络的泛化性能。
[0007]本专利技术的具体实现步骤如下：
[0008]步骤1，构建质量评价网络：
[0009](1a)搭建一个质量回归模块，其结构依次为：第1全连接层，ReLU激活层，第2全连接层，ReLU激活层，第3全连接层，ReLU激活层，第4全连接层，ReLU激活层，第5全连接层，ReLU激活层，第6全连接层，ReLU激活层；
[0010]其中，第1至第6全连接层的输入层节点数分别设置为2048、224、112、56、28和14，第1至第6全连接层的输出层节点数分别设置为224、112、56、28、14和1；
[0011](1b)将特征提取模块与质量回归模块级联组成质量评价网络；
[0012]步骤2，构建样本重要性加权网络：
[0013]搭建一个由第1全连接层，ReLU激活层，第2全连接层，ReLU激活层，第3全连接层，sigmoid激活层组成的样本重要性加权网络；将第1至第3全连接层的输入层节点数分别设置为1、100和100，第1至第3全连接层的输出层节点数分别设置为100、100和1；
[0014]步骤3，生成训练集和元参考集：
[0015](3a)选取I张标注分数标签的失真图像组成样本集，样本集中包含R种失真类型及其混合，每张失真图像均为RGB彩色图像且分辨率不小于384
×
384个像素，I≥450，R≥2；
[0016](3b)将样本集中每张图像随机裁剪为J个大小为224
×
224个像素的局部图，将每个局部图的像素值归一化到[0,1]之间，其中，J≥20；
[0017](3c)将归一化处理后的所有局部图与每张局部图对应的标注分数标签组成训练集；
[0018](3d)从归一化处理后的局部图中随机选取K
×
J个裁自相同K张失真图像的局部图，将裁自同一图像的J个局部图构建为一个图像包，将所有图像包与每个图像包对应样本的分数标签组成元参考集，其中，I
×
0.2≤K≤I
×
0.3；
[0019]步骤4，交替训练质量评价网络和样本重要性加权网络：
[0020](4a)将训练集中每张图像的局部图依次输入到质量评价网络后输出该局部图的预测分数，计算每个局部图的预测误差值；将每个局部图的预测误差值输入到样本重要性加权网络后输出每个局部图的预测权重，计算每个局部图的加权训练损失值；将每个局部图的加权训练损失值输入到Adam优化器，更新质量评价网络的各层参数，得到预训练好的质量评价网络；
[0021](4b)将元参考集中每个图像包依次输入到预训练好的质量评价网络后输出该图像包中每个局部图的预测分数，计算每个图像包的训练损失值；将元参考集中每个图像包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多局部图自适应加权的无参考图像质量评价方法，其特征在于，构建一个质量评价网络和一个样本重要性加权网络；利用生成的训练集和元参考集交替训练质量评价网络和样本重要性加权网络，得到训练好的质量评价网络；该质量评价方法的步骤包括如下：步骤1，构建质量评价网络：(1a)搭建一个质量回归模块，其结构依次为：第1全连接层，ReLU激活层，第2全连接层，ReLU激活层，第3全连接层，ReLU激活层，第4全连接层，ReLU激活层，第5全连接层，ReLU激活层，第6全连接层，ReLU激活层；其中，第1至第6全连接层的输入层节点数分别设置为2048、224、112、56、28和14，第1至第6全连接层的输出层节点数分别设置为224、112、56、28、14和1；(1b)将特征提取模块与质量回归模块级联组成质量评价网络；步骤2，构建样本重要性加权网络：搭建一个由第1全连接层，ReLU激活层，第2全连接层，ReLU激活层，第3全连接层，sigmoid激活层组成的样本重要性加权网络；将第1至第3全连接层的输入层节点数分别设置为1、100和100，第1至第3全连接层的输出层节点数分别设置为100、100和1；步骤3，生成训练集和元参考集：(3a)选取I张标注分数标签的失真图像组成样本集，样本集中包含R种失真类型及其混合，每张失真图像均为RGB彩色图像且分辨率不小于384
×
384个像素，I≥450，R≥2；(3b)将样本集中每张图像随机裁剪为J个大小为224
×
224个像素的局部图，将每个局部图的像素值归一化到[0,1]之间，其中，J≥20；(3c)将归一化处理后的所有局部图与每张局部图对应的标注分数标签组成训练集；(3d)从归一化处理后的局部图中随机选取K
×
J个裁自相同K张失真图像的局部图，将裁自同一图像的J个局部图构建为一个图像包，将所有图像包与每个图像包对应样本的分数标签组成元参考集，其中，I
×
0.2≤K≤I
×
0.3；步骤4，交替训练质量评价网络和样本重要性加权网络：(4a)将训练集中每张图像的局部图依次输入到质量评价网络后输出该局部图的预测分数，计算每个局部图的预测误差值；将每个局部图的预测误差值输入到样本重要性加权网络后输出每个局部图的预测权重，计算每个局部图的加权训练损失值；将每个局部图的加权训练损失值输入到Adam优化器，更新质量评价网络的各层参数，得到预训练好的质量评价网络；(4b)将元参考集中每个图像包依次输入到预训练好的质量评价网络后输出该图像包中每个局部图的预测分数，计算每个图像包的训练损失值；将元参考集中每个图像包的训练损失值输入到Adam优化器，更新样本重要性加权网络的各层参数，得到预训练好的样本重要性加权网络；(4c)将训练集中每张图像的局部图依次输入到预训练好的质量评价网络后输出该局部图的预测分数，计算每个局部图的预测误差值；将每个局部图的预测误差值输入到预训练好的样本重要性加权网络后输出每个局部图的预测权重，采用与步骤(4a)相同的公式，计算每个局部图的加权训练损失值；将每个局部图的加权训练损失值输入到Adam优化器，更新预训练好的质量评价网络的各层参数，得到训练好的质量评价网络；
(4d)重复执行步骤(4a)、(4b)和(4c)，迭代更新质量评价网络和样本重要性加权网络的各层参数，直到步骤(4c)中每个局部图的加权训练损失值收敛为止，得到训练好的质量评价网络；步骤5，对失真图像进行质量评价：将待评价的失真图像随机裁剪为J个大小为224
×
224个像素的局部图，将所有局部图依次输入到训练好的质量评价网络中，将输出的所有局部图预测分数的平均值作为最终该失真图像的质量评价结果。2.根据权利要求1所述的基于多局部图自适应加权的无参考图像质量评价方法，其特...

【专利技术属性】
技术研发人员：路文，郑永，韩士帅，李秉恒，梁泽红，何立火，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：