一种融合卷积和注意力机制的无参考图像质量评估方法技术

本发明专利技术公开了一种融合卷积和注意力机制的无参考图像质量评估方法，包括：对输入图像进行预处理，获取处理后的图像；通过加入双注意力的深度卷积神经网络提取所述处理后的图像的特征，对图像特征进行加权处理，并基于全局平均池化操作对所述图像特征进行压缩处理，利用全连接层预测图像质量分数。本发明专利技术采用更深卷积网络结构，特征提取更加全面；同时，深层卷积融合双注意力机制组合有效特征信息，从而提升图像质量预测精度。提升图像质量预测精度。提升图像质量预测精度。

【技术实现步骤摘要】
一种融合卷积和注意力机制的无参考图像质量评估方法


[0001]本专利技术涉及图像质量评估
，尤其涉及一种融合卷积和注意力机制的无参考图像质量评估方法。

技术介绍

[0002]图像质量评估是一种很实用的评价技术。随着计算机视觉的发展，越来越多的图像任务被攻克，计算机处理的图像质量提升与否变成一个新的课题，图像质量评估领域随之而来。图像质量评估可以分为全参考图像质量评估和无参考图像质量评估。全参考方法是将待评估的图像与其原始的参考图像进行比较，以计算两者之间的差异度量来评估图像质量。通常采用的评价指标包括峰值信噪比、结构相似性指标等。无参考方法是不依赖于参考图像，直接对待评估的图像进行质量评估。无参考方法主要通过对图像的局部特征和全局特征进行提取和分析，以得到图像质量的评估结果。全参考图像质量评估需要原始的参考图像作为比较基准，因此在实际应用中较为受限。无参考方法在实际应用中更为灵活，可以用于各种情况下的图像质量评估。
[0003]目前，一些基于提取图像特征(如统计信息、亮度、对比度、清晰度、颜色等)方法融合了图像处理、图像分析和人类视觉感知理论取得了较好的评估精度。但这种传统方法也面临着受限于特征的选取和计算方法的问题，所以基于深度学习的无参考图像质量评估方法更具有竞争力。深度学习方法是近年来出现的一种新的无参考图像质量评估方法，主要是基于深度神经网络模型的训练和预测。
[0004]在提取特征时，传统方法使用指定特征提取的方式，这种思路往往需要针对特定种类图像。而深度学习方法是从大量的图像数据中学习图像质量评估模型，通过网络的训练来优化模型的权重和结构，从而得到更准确的质量评估结果。相较于传统方法，深度学习方法不需要人为地选择特征和计算方法，具有更好的泛化能力和鲁棒性，能够处理更加复杂和多样化的图像质量评估任务。

技术实现思路

[0005]本专利技术的目的在于提供一种融合卷积和注意力机制的无参考图像质量评估方法，利用深度卷积神经网络提取图像特征具有的层次性、语义性、抽象性等特点，充分挖掘利用图像中的各级特征，结合人眼视觉感知模型对图像进行打分预测，利用双注意力机制的思想，优化卷积结果，强化了有主要影响力的空间、通道比重，得到更有表示力的特征图。
[0006]为实现上述目的，本专利技术提供了一种融合卷积和注意力机制的无参考图像质量评估方法，包括：
[0007]对输入图像进行预处理，获取处理后的图像；
[0008]通过加入双注意力的深度卷积神经网络提取所述处理后的图像的特征，对图像特征进行加权处理，并基于全局平均池化操作对所述图像特征进行压缩处理，利用全连接层预测图像质量分数。
[0009]优选地，对所述输入图像进行预处理，包括：
[0010]将输入的图像调整为相同大小，并对调整后的图像进行随机变换，进行数据增强；
[0011]调整图像的像素在预设像素范围内，对所述图像进行归一化处理；
[0012]最终将所述图像的类型转化为适配网络输入的数据类型，完成对所述输入图像的预处理操作。
[0013]优选地，通过加入双注意力的深度卷积神经网络提取所述处理后的图像的特征，包括：
[0014]将所述处理后的图像输入至加入双注意力的深层ResNet卷积网络中进行特征提取，获取高维的特征表示；
[0015]其中，选择所述加入双注意力的深层ResNet卷积网络的最后一层卷积层之前的特征作为图像的特征表示。
[0016]优选地，所述加入双注意力的深层ResNet卷积网络的最后一层卷积层输出的特征为4D张量，形状为(batch_size，num_channels，height，width)，其中batch_size为批大小，num_channels为通道数，height和width为特征图的高度和宽度；
[0017]其中，在深度卷积神经网络ResNet的每个残差块后添加双注意力模块构成所述加入双注意力的深层ResNet卷积网络。
[0018]优选地，对所述图像特征进行加权处理，包括：
[0019]基于所述4D张量进行自适应特征加权，分别通过通道注意力模块和空间注意力模块进行注意力加权，获取加权特征张量。
[0020]优选地，分别通过通道注意力模块和空间注意力模块进行注意力加权的过程为：
[0021]将残差块的输出作为输入，进行通道注意力处理；然后连接全连接层进行特征变换，再通过sigmoid激活函数获得每个通道的注意力权重；
[0022]将通道注意力的输出结果乘以所述残差块的输入，获取加权输入，所述加权输入被输入到所述空间注意力模块中；
[0023]在所述空间注意力模块中，使用卷积层对所述加权输入进行卷积操作，获得特征图，并将所述特征图作为输入，再次进行通道注意力处理，获取每个空间位置的注意力权重；
[0024]将通道注意力和空间注意力的输出结果相乘，获取融合了通道和空间注意力的特征图，作为下一个残差块的输入。
[0025]优选地，基于全局平均池化操作对所述图像特征进行压缩处理的方法为：
[0026][0027]其中，x为输入特征图，y为输出特征图，y
i,j,k
表示输出特征图第k个通道上位置为(i,j)的像素值，H和W分别为输入特征图的高度和宽度，s为池化层的步长。
[0028]与现有技术相比，本专利技术具有如下优点和技术效果：
[0029]本专利技术利用深度卷积神经网络，能够提取更多层次图像特征，利用双注意力机制，符合人眼视觉模型，聚焦人眼专注区域，形成更合理的特征图；提升了无参考图像质量评估得分准确率。
附图说明
[0030]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0031]图1为本专利技术实施例中深度神经网络RESNET
‑
50网络示意图；
[0032]图2为本专利技术实施例中深度神经网络和双注意力机制网络融合示意图；其中，C为特征维度，H和W分别为输入特征图的高度和宽度。
具体实施方式
[0033]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0034]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0035]如图1
‑
图2所示，本专利技术提出了一种融合卷积和注意力机制的无参考图像质量评估方法，具体包括：
[0036]步骤一、对输入的图像进行预处理。读取图像之后，为了使模型能够处理不同分辨率的图像，需要将读取的图像缩放到统一的大小256x256。再对缩放后的图像进行一些随机变换，例如旋转、裁剪、平移、翻转、对比度调整等进行数据增强。将图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合卷积和注意力机制的无参考图像质量评估方法，其特征在于，包括：对输入图像进行预处理，获取处理后的图像；通过加入双注意力的深度卷积神经网络提取所述处理后的图像的特征，对图像特征进行加权处理，并基于全局平均池化操作对所述图像特征进行压缩处理，利用全连接层预测图像质量分数。2.根据权利要求1所述的融合卷积和注意力机制的无参考图像质量评估方法，其特征在于，对所述输入图像进行预处理，包括：将输入的图像调整为相同大小，并对调整后的图像进行随机变换，进行数据增强；调整图像的像素在预设像素范围内，对所述图像进行归一化处理；最终将所述图像的类型转化为适配网络输入的数据类型，完成对所述输入图像的预处理操作。3.根据权利要求1所述的融合卷积和注意力机制的无参考图像质量评估方法，其特征在于，通过加入双注意力的深度卷积神经网络提取所述处理后的图像的特征，包括：将所述处理后的图像输入至加入双注意力的深层ResNet卷积网络中进行特征提取，获取高维的特征表示；其中，选择所述加入双注意力的深层ResNet卷积网络的最后一层卷积层之前的特征作为图像的特征表示。4.根据权利要求3所述的融合卷积和注意力机制的无参考图像质量评估方法，其特征在于，所述加入双注意力的深层ResNet卷积网络的最后一层卷积层输出的特征为4D张量，形状为(batch_size，num_channels，height，width)，其中batch_size为批大小，num_channels为通道数，height和width为特征图的高度和宽度；...

【专利技术属性】
技术研发人员：蔡成涛，韩锐，郑丽颖，黄星辉，周文涛，王昱瑶，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：