基于自适应特征加权融合的无参考图像质量评价方法技术

本发明专利技术公开了基于自适应特征加权融合的无参考图像质量评价方法，包括以下步骤；构建测试集与训练集；构建基础特征提取模块，将训练集中的失真图像输入该模块；在基础特征提取模块后顺次连接逐层多尺度特征融合模块，将基础特征提取模块的输出作为逐层多尺度特征融合模块的输入；在逐层多尺度特征融合模块后顺次连接多粒度特征拼接模块，将基础特征提取模块和逐层多尺度特征融合模块的输出作为多粒度特征拼接模块的输入；对所述的模块所组成的基于自适应特征加权融合的图像质量评价网络S进行迭代训练。本发明专利技术利用特征逐层融合方法将相邻尺度的特征图逐层融合，设置有自适应性的相邻特征图融合权重，增强融合后特征图对于多尺度特征的表征能力。尺度特征的表征能力。尺度特征的表征能力。

【技术实现步骤摘要】
基于自适应特征加权融合的无参考图像质量评价方法


[0001]本专利技术涉及图像质量评价
，具体涉及基于自适应特征加权融合的无参考图像质量评价方法。

技术介绍

[0002]视觉信息占人接收到的所有感官信息的70％，故视觉信息对于人的重要性不言而喻。随着移动智能设备和移动互联网的发展，制作和观看图像的方式越来越大众化，所以人们对于图像质量的要求也越来越高。因此，依据人类视觉系统的特性，建立图像质量评价模型，对人们生活质量的提升具有重大的现实意义和研究价值。
[0003]图像质量评价方法大致可以分为全参考、半参考和无参考方法。全参考度量方法需要所有的参考图像的信息，半参考只需要部分参考图像的信息，而无参考方法可在没有任何参考图像信息的情况下预测图像的质量。在现有的研究中，建立了许多基于人工设计的评价指标，如结构相似度(SSIM)、峰值信噪比(PSNR)、视觉信息保真度(VIF)等。人眼在观测图像时，既能感知到图像类别、前景和背景等全局信息，也能感知到图像中感兴趣的物体细节。因此图像质量评价任务既需要蕴含全局信息的高级特征，又需要包含局部细节的低级特征，充分利用图像多尺度信息成为提高真实失真评估模型性能的关键。现有的利用多尺度特征的质量评价方法，通过构造特征金字塔获取不同尺度的特征，将高层特征图进行上采样，与下层特征图进行权重固定的简单加和，存在因上下层特征图间语义跨度较大导致的融合后特征图对多尺度特征表征效果差的问题。
[0004]申请公布号为CN115359000A，名称为“一种无参考图像质量评价方法、装置及存储介质”的专利申请，公开了一种基于传统手工提取特征的无参考图像质量评价方法，该方法步骤包括：获取失真图像，并对失真图像进行尺寸调整；提取尺寸调整后的失真图像的梯度图、相位谱图、振幅谱图、频谱图，得到失真图像的特征图集；对尺寸调整后的失真图像进行两倍下采样后，通过双三次插值恢复图像尺寸，得到缩放处理后的图像；根据尺寸调整后的失真图像和缩放处理后的图像，得到失真图像的差异图；提取差异图的梯度图、相位谱图、振幅谱图、频谱图，得到差异图的特征图集；将失真图像及其特征图集、差异图及其特征图集输入预先构建的质量评价模型，得到失真图像的质量评价结果，
[0005]该方法的不足之处在于，仅仅使用梯度图、相位谱图、振幅谱图、频谱图等人工设计的失真特征，忽略了待检测失真图像中的高级内容信息，未将高级视觉特征融入进失真特征中，导致其质量预测准确性和泛化能力较低。
[0006]传统的无参考质量评价方法往往基于固定的质量映射网络预测图像质量，与人眼视觉中既能感知到图像类别、前景和背景等全局信息，也能感知到图像中感兴趣的物体细节的特性不符。未将不同尺度特征融入进失真特征中，导致其质量预测准确性和泛化能力较低。
[0007]现有的基于多尺度特征融合的无参考图像质量评价方法，其在融合过程中仅仅使用固定的融合权重和融合结构，例如简单的加和。未体现出不同尺度的失真特征对于融合
后失真特征的贡献程度。

技术实现思路

[0008]为了克服以上现有技术存在的缺陷，本专利技术的目的在于提供基于自适应特征加权融合的无参考图像质量评价方法，利用特征逐层融合方法将相邻尺度的特征图逐层融合，设置有自适应性的相邻特征图融合权重，增强融合后特征图对于多尺度特征的表征能力。用于解决现有的基于卷积神经网络网络的无参考图像质量评价方法中，因不同尺度特征图之间语义跨度较大导致的评价准确性低、模型泛化能力差的问题。
[0009]为了实现上述目的，本专利技术采用的技术方案是：
[0010]基于自适应特征加权融合的无参考图像质量评价方法，包括以下步骤；
[0011]步骤1：利用图像质量评价领域常用的数据集，将参考图像随机划分为两部分，其中一部分用于训练，剩余部分用于测试，将参考图像对应的失真图像划入对应的训练集和测试集；图像质量评价领域的常用数据集是由参考图像和其对应的失真图像组成的，参考图像指无失真的(即高质量的)图像，失真图像即经过算法处理，质量劣化的图像；如现有一幅参考图像A，经过劣化后得到失真图像A'，则失真图像A'即为参考图像A对应的失真图像；
[0012]步骤2：构建基础特征提取模块，将训练集中的失真图像输入该模块；
[0013]步骤3：在步骤2的基础特征提取模块后顺次连接逐层多尺度特征融合模块，将基础特征提取模块的输出作为逐层多尺度特征融合模块的输入；
[0014]所述逐层多尺度特征融合模块用于将步骤2的基础特征提取模块的输出进行逐层融合；
[0015]步骤4：在步骤3的逐层多尺度特征融合模块后顺次连接多粒度特征拼接模块，将基础特征提取模块的和逐层多尺度特征融合模块的输出，作为多粒度特征拼接模块的输入；
[0016]所述多粒度特征拼接模块用于将步骤2、步骤3的输出进行拼接、压缩，得到质量分数输出；
[0017]步骤5：对所述基础特征提取模块、逐层多尺度特征融合模块、多粒度特征拼接模块共同构成的基于自适应特征加权融合的图像质量评价网络S进行迭代训练。
[0018]所述步骤2中：
[0019]基础特征提取模块由5个卷积模块顺次连接而成，其具体结构为：第一卷积模块
→
第一残差模块
→
第二残差模块
→
第三残差模块
→
第四残差模块；
[0020]第一卷积模块由卷积层、RELU层、池化层顺次连接而成，其具体结构为：卷积层
→
RELU层
→
最大池化层；
[0021]第一残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；
[0022]第二残差模块由4个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；
[0023]第三残差模块由6个残差层顺次连接而成，每个残差层由两个分支组成，其中第一
分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；
[0024]第四残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
REL本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应特征加权融合的无参考图像质量评价方法，其特征在于，包括以下步骤；步骤1：构建测试集与训练集；利用图像质量评价领域常用的数据集，将参考图像随机划分为两部分，其中一部分用于训练，剩余部分用于测试，将参考图像对应的失真图像划入对应的训练集和测试集；步骤2：构建基础特征提取模块，将训练集中的失真图像输入该模块；步骤3：在步骤2的基础特征提取模块后顺次连接逐层多尺度特征融合模块，将基础特征提取模块的输出作为逐层多尺度特征融合模块的输入；所述逐层多尺度特征融合模块用于将步骤2的基础特征提取模块的输出进行逐层融合；步骤4：在步骤3的逐层多尺度特征融合模块后顺次连接多粒度特征拼接模块，将基础特征提取模块的和逐层多尺度特征融合模块的输入，作为多粒度特征拼接模块的输出；所述多粒度特征拼接模块用于将步骤2、步骤3的输出进行拼接、压缩，得到质量分数输出；步骤5：所述基础特征提取模块、逐层多尺度特征融合模块、多粒度特征拼接模块共同构成的基于自适应特征加权融合的图像质量评价网络S进行迭代训练。2.根据权利要求1所述的基于自适应特征加权融合的无参考图像质量评价方法，其特征在于，所述步骤2中：基础特征提取模块由5个卷积模块顺次连接而成，其具体结构为：第一卷积模块
→
第一残差模块
→
第二残差模块
→
第三残差模块
→
第四残差模块；第一卷积模块由卷积层、RELU层、池化层顺次连接而成，其具体结构为：卷积层
→
RELU层
→
最大池化层；第一残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；第二残差模块由4个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；第三残差模块由6个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层；第四残差模块由3个残差层顺次连接而成，每个残差层由两个分支组成，其中第一分支的具体结构为：第一卷积层
→
RELU层
→
第二卷积层
→
RELU层
→
第三卷积层
→
RELU层；第二分支的具体结构为：卷积层。3.根据权利要求1所述的基于自适应特征加权融合的无参考图像质量评价方法，其特征在于，所述步骤2具体为：将训练集中的失真图像输入该模块，将第一残差模块、第二残差模块、第三残差模块、第四残差模块输出的特征图作为基础特征提取模块的输出，分别将其命名为stage1、
stage2、stage3、stage4。4.根据权利要求1所述的基于自适应特征加权融合的无参考图像质量评价方法，其特征在于，所述步骤3具体步骤为：逐层多尺度特征融合模块的公式如下式所示：...

【专利技术属性】
技术研发人员：何立火，张卓远，张超仑，施雯彬，吴翔宇，高新波，路文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：