基于双线性卷积神经网络的细粒度图像盲质量评价方法技术

本发明专利技术提出一种基于双线性卷积神经网络的细粒度图像盲质量评价方法，包括：对原始图像进行图像预处理；获取细粒度数据库中所有数据的平均主观得分；对细粒度特征敏感的信息内容进行提取得到特征映射；对特征映射进行压缩得到通道信息描述符，对通道信息描述符进行学习得到特征向量，对特征映射与特征向量进行通道乘法计算得到通道乘法输出特征；对通道乘法输出特征进行双线性池化处理得到细粒度质量差异图像；获得细粒度质量差异图像对应的评价分数；将细粒度质量差异图像对应的评价分数与平均主观得分进行对比计算得到各测试指标。本发明专利技术能够有效预测细粒度失真差异的图像质量，对于缩小客观图像质量评价与实际应用之间的差距具有重要意义。差距具有重要意义。差距具有重要意义。

【技术实现步骤摘要】
基于双线性卷积神经网络的细粒度图像盲质量评价方法


[0001]本专利技术涉及计算机视觉与多媒体数字图像处理
，特别涉及一种基于双线性卷积神经网络的细粒度图像盲质量评价方法。

技术介绍

[0002]图像质量评价在图像采集、图像压缩、图像恢复以及图像增强等多媒体处理中发挥着不可替代的作用，通常分为主观质量评价与客观质量评价。主观质量评价模型很难嵌入到实际的应用程序中，而客观质量评价模型可以很容易地部署在实际应用中，如作为参数调谐器与系统优化器等。随着图像质量评价数据库的数量不断增加，但是大多数现有的数据库中的图像都是粗粒度失真图像，即这些图像很容易被人类识别，这是由于数据库中两个相邻的失真级别被设置为可区分的。当失真图像之间的质量差异很细微(也称为细粒度)时，图像质量差异对人类来说也很难区分。此外，现有质量评价模型是根据粗粒度数据库设计的，不能很好地捕捉细粒度失真特性，限制了很多应用的发展。因此，开发细粒度图像的盲质量评价模型，高效准确地区分细粒度图像差异显得十分重要，极具实用价值和学术研究价值。
[0003]为了满足实际应用对图像质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，通过细粒度图像盲质量评价模型实现，所述细粒度图像盲质量评价模型包括特征提取模块、压缩激励模块、双线性池化模块以及全连接层，所述方法包括如下步骤：步骤一、获取细粒度质量差异的原始图像，并对所述原始图像进行图像预处理；步骤二、利用Bradley
‑
Terry模型获取细粒度数据库中所有数据的平均主观得分；步骤三、基于卷积层序列构建特征提取模块，通过特征提取模块对细粒度特征敏感的信息内容进行提取以得到特征映射；步骤四、构建压缩激励模块，将所述特征映射输入至压缩激励模块中，对所述特征映射进行全局平均池化操作以压缩得到通道信息描述符，并利用两个全连接层对所述通道信息描述符进行学习以得到特征向量，对所述特征映射与所述特征向量进行通道乘法计算以得到通道乘法输出特征；步骤五、利用双线性池化模块对所述通道乘法输出特征进行双线性池化处理，以得到细粒度质量差异图像，并输入至全连接层；步骤六、通过全连接层获得所述细粒度质量差异图像对应的评价分数；步骤七、将所述细粒度质量差异图像对应的评价分数与所述平均主观得分进行对比计算以得到各测试指标。2.根据权利要求1所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤一中，对原始图像进行图像预处理的方法包括如下步骤：将所述原始图像的图像尺寸缩放为统一大小，用于便于输入模型；将尺寸缩放后的原始图像进行裁剪以得到图像边缘区域，进而得到图像中心正方形区域；对训练集中，裁剪后的图像采用随机角度中心旋转、随机垂直翻转以及随机水平翻转做数据增广用于防止过拟合。3.根据权利要求2所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤二中，Bradley
‑
Terry模型的表达式为：其中，γ(i)表示第i幅图像的偏好概率，S
i
表示第i幅图像的原始评分分数，S
j
表示第j幅图像的原始评分分数，S表示原始评分分数集合，w
i，j
表示观察者对第i幅图像与第j幅图像的质量偏好，w
i，j
＝1表示观察者认为第i幅图像比第j幅图像质量更好，w
i，j
＝0表示观察者认为第j幅图像比第i幅图像质量更好，N(i，j)表示实验中第i幅图像比第j幅图像质量更好的频数，N(j，i)表示实验中第j幅图比第i幅图像质量更好的频数。4.根据权利要求3所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤三中，特征提取模块的输入特征表示为：
X＝[x1，x2，...，x
C
]其中，X表示特征提取模块的输入特征，x
C
表示输入特征的第c个通道，X∈R
H
×
W
×
C
，R表示实数集，H表示特征的高度，W表示特征的宽度，C表示通道数量；通过特征提取模块最终得到的特征映射表示为：U＝[u1，u2，...，u
c
]其中，U表示特征映射；其中，u
c
表示第c个通道的特征映射，v
c
表示拥有c个通道的3维空间核，表示第k个2维空间核且作用于输入特征的第k个通道，x
k
表示输入特征的第k个通道，*表示卷积操作，c表示通道索引序号，c∈(1，C]。5.根据权利要求4所述的基于双线性卷积神经网络的细粒度图像盲质量评价方法，其特征在于，在所述步骤四中，将所述特征映射输入至压缩激励模块中，对所述特征映射进行全局平均池化操作以压缩得到通道信息描述符的步骤中，对应有如下公式：其中，z
c
表示第c个通道信息描述符，F
sq
(
·
)表示压缩操作，u
c
...

【专利技术属性】
技术研发人员：方玉明，刘丽霞，鄢杰斌，姜文晖，王耀南，吴成中，
申请(专利权)人：江西省通讯终端产业技术研究院有限公司，
类型：发明
国别省市：