基于双重孪生网络的无参考屏幕内容图像质量评估方法技术

本发明专利技术涉及一种基于双重孪生网络的无参考屏幕内容图像质量评估方法。包括：对失真屏幕内容图像数据集中的数据进行预处理，在每幅失真图像的灰度图上提取对应的结构特征图，生成对应结构特征图数据集，并将两个数据集划分为训练集与测试集；设计多头自注意力模块，学习失真图像特征与其对应结构特征之间的特征关联信息；设计支持双源输入的孪生网络，使用所设计的网络学习失真图像的多类失真信息；设计双重孪生的图像质量评估网络，训练所设计的网络得到无参考屏幕内容图像质量评估模型；将测试集中的失真屏幕内容图像和对应的结构特征图输入到训练好的基于双重孪生网络的无参考屏幕内容图像质量评估网络模型中，计算失真图像的质量评估分数。图像的质量评估分数。图像的质量评估分数。

【技术实现步骤摘要】
基于双重孪生网络的无参考屏幕内容图像质量评估方法


[0001]本专利技术涉及图像处理以及计算机视觉领域，特别是一种基于双重孪生网络的无参考屏幕内容图像质量评估方法。

技术介绍

[0002]近几年，随着移动设备和多媒体应用的快速发展，屏幕内容图像越来越频繁地出现在人们的生活中。这是一种由计算机生成的新的图像类型，与传统自然图像相比，其具有更多的文本、图形及特殊的布局，锐利边缘数量远超过自然图像，而颜色信息少于自然图像。然而，在屏幕内容图像进行渲染、压缩、传递等处理的过程中，由于技术或硬件局限性等原因，图像中不可避免引入各种不同程度的失真，呈现出不同程度的质量下降，低质量的屏幕内容图像必然影响用户体验和交互性能。基于人们无可避免的对清晰的高质量图像的追求，图像质量评估结果可作为一些图像恢复增强技术的辅助参照信息，因此能够获取屏幕内容图像感知质量的图像质量评估方法是非常需要的，它们也可为设计和优化高级图像/视频处理算法提供了一种可行的途径。
[0003]近年来，学者们根据屏幕内容图像和人类视觉系统的特点，提出了许多有效的质量评估算法。但是基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重孪生网络的无参考屏幕内容图像质量评估方法，其特征在于，包括如下步骤：步骤S1、对失真屏幕内容图像数据集中的数据进行数据预处理，在每幅失真图像的灰度图上提取对应的结构特征图，生成对应失真屏幕内容图像数据集的结构特征图数据集，并将两个数据集按照统一的方式划分为训练集与测试集；步骤S2、设计多头自注意力模块，学习失真图像特征与其对应结构特征之间的特征关联信息；步骤S3、设计支持双源输入的孪生网络，学习失真图像的多类失真信息；步骤S4、设计双重孪生的图像质量评估网络，训练得到无参考屏幕内容图像质量评估模型；步骤S5、将测试集中的失真图像和对应的结构特征图输入到训练好的基于双重孪生网络的无参考屏幕内容图像质量评估网络模型中，计算失真图像的质量评估分数。2.根据权利要求1所述的一种基于双重孪生网络的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S1具体为：步骤S11、将每一幅失真图像I转换为灰度图g，然后利用水平和垂直两个方向的Scharr滤波器对灰度图进行卷积运算，得到灰度图的水平和垂直两个方向的梯度信息组成的梯度图，然后将得到的两个梯度图按像素点位进行平方运算后，再求和开方，得到灰度图的最终梯度图d；计算公式如下：梯度图d；计算公式如下：梯度图d；计算公式如下：其中，“*”表示卷积计算，g表示灰度图，s
h
和s
v
分别表示水平方向和垂直方向的Scharr滤波器，d
h
和d
v
分别表示卷积得到的水平方向和垂直方向的梯度图；步骤S12、将旋转不变等价LBP算子作用于步骤S11中得到的梯度图d，提取得到LBP结构特征图，形成对应失真图像I的LBP结构特征图；旋转不变等价LBP算子的表达式如下：征图，形成对应失真图像I的LBP结构特征图；旋转不变等价LBP算子的表达式如下：征图，形成对应失真图像I的LBP结构特征图；旋转不变等价LBP算子的表达式如下：
其中，R表示邻域的半径，N表示半径为R的邻域边界采样像素点数量，d
c
表示邻域中心像素点的梯度值，d
n
表示邻域边界采样像素点的梯度值，则d0、d
n
‑1、d
N
‑1分别表示邻域边界第0、n
‑
1、N
‑
1个采样像素点的梯度值，v(
·
)表示像素点的梯度值落差，α(
·
)表示LBP模式所对应的循环二进制数中0
‑
1或1
‑
0跳变的次数，LBP
N，R
表示旋转不变LBP算子，LBP
′
N，R
表示旋转不变等价LBP算子；步骤S11中所得的梯度图d经由旋转不变等价LBP算子按各采样像素点运算得到LBP结构特征图L；步骤S13、计算失真屏幕内容图像数据集的每幅失真图像对应的LBP结构特征图，得到对应失真屏幕内容图像数据集的结构特征图数据集；将两个数据集以统一的方式进行同比例的训练集与测试集划分，即两个数据集中相对应的图像同属于训练集或同属于测试集。3.根据权利要求1所述的一种基于双重孪生网络的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S2具体为：步骤S21、将多头自注意力模块的前序模块的输出特征作为多头自注意力模块的输入特征，包括失真图像特征F
I
和LBP结构特征F
L
；首先将维度为C
×
H
×
W的失真图像特征输入到两个不同的1
×
1卷积层中，提取得到维度均为C
×
H
×
W的两个图像投影特征分量k和v；其中，C为特征通道数，H为失真图像特征图高度，W为失真图像特征图宽度；提取图像投影特征分量的表达式如下：k＝w1(F
I
)+b1v＝w2(F
I
)+b2其中，F
I
为输入的失真图像特征，w1和b1、w2和b2分别为两个不同1
×
1卷积层的权重和偏置；然后对两个图像投影特征分量k和v进行多头维度调整，利用C＝heads
×
c，将原维度C
×
H
×
W调整为heads
×
c
×
H
×
W；其中，heads为多头数，c为调整后的特征通道数；步骤S22、将维度为C
×
H
×
W的LBP结构特征输入到1
×
1卷积层中，提取得到维度为C
×
H
×
W的结构特征分量q；提取结构特征分量的表达式如下：q＝w3(F
L
)+b3其中，F
L
为输入的LBP结构特征，w3和b3为1
×
1卷积层的权重和偏置；然后对结构特征分量q进行与图像投影特征分量k和v一致的多头维度调整，利用C＝heads
×
c，将原维度C
×
H
×
W调整为heads
×
c
×
H
×
W；步骤S23、随机初始化高度位置特征P
h
和宽度位置特征P
w
；其中，P
h
维度为heads
×
c
×
H
×
1，P
w
维度为heads
×
c
×1×
W；对P
h
和P
w
进行矩阵加法计算，得到位置特征p，其维度为heads
×
c
×
H
×
W：步骤S24、将步骤S21取得的两个图像投影特征分量，步骤S22取得的一个结构特征分量，以及步骤S23取得的位置特征输入至多头自注意力模块中，得到经过结构特征信息调整的图像特征z；多头自注意力模块包括激活函数与多个矩阵计算，经...

【专利技术属性】
技术研发人员：陈羽中，林冠妙，牛玉贞，陈友昆，
申请(专利权)人：福州大学，
类型：发明
国别省市：