【技术实现步骤摘要】
本专利技术属于图像，涉及基于多频域级联的超分辨图像质量评价方法。
技术介绍
1、随着高清显示设备的快速发展，图像超分辨重建是一种能够有效的提高图像质量的技术。它旨在从单个或多个的低分辨率(lr)的图像中生成具有丰富细节的高分辨率(hr)图像。为了进一步优化sr算法的性能，其中的关键任务之一是公平地比较这些算法的性能以及准确地评价生成的sr图像的质量。
2、总的来说，现有的图像质量评价方法主要分为两类，即主观质量评价方法和客观质量评价方法。主观质量评价方法的优点是可以真实地反映人的主观视觉感受，评价结果直接、准确、可靠。但是该方法通常受观测环境和实验人员数量等客观因素影响，存在很多的局限性，不利于集成到sr应用系统中。相反，客观质量评价方法侧重于设计计算模型来提取图像感知特征，并给定sr图像的质量。评价时根据是否使用参考图像又可以分为三类：全参考(full reference，fr)、半参考(reducedreference，rr)和无参考(no reference，nr)。峰值信噪比(psnr)和结构相似度(ssim)是评价fr-iqa的两个指标，但评估结果往往与sr图像的真实值并不一致。此外，在sr过程中，由于sr图像对应的原始高分辨率参考图像很难获得，因此，fr-iqa和rr-iqa方法都不适合sr-iqa。与之相反，nr-iqa模型可以在不依赖任何参考信息的情况下预测图像质量，特别是对于sr图像。
3、目前，大多数的图像质量评价方法网络都是将图像整体或者图像的整个频域作为网络的输入，但是这些方法忽略
技术实现思路
1、本专利技术的目的是提供基于多频域级联的超分辨图像质量评价方法，该方法采用多频域的网络将频域信息划分为高频、中频、低频这三个频带，在保证了生成的超分辨图像的自然性和一致性的同时，提高了图像质量评价的全面性和准确性。
2、本专利技术所采用的技术方案是，基于多频域级联的超分辨图像质量评价方法，包括以下步骤：
3、步骤1，构建数据集，对该数据集进行处理，将处理后的数据集划分为训练集、验证集和测试集；
4、步骤2，构建多频域级联transformer模型，通过该模型得到图像的预测质量分数；
5、步骤3，将步骤1中划分的训练集输入步骤2构建的多频域级联transformer模型中对模型进行训练，训练结束后再将步骤1中划分的验证集输入训练后的模型中，当验证集的总损失趋于稳定时，得到最终训练好的多频域级联transformer模型；
6、步骤4，将步骤1划分的测试集图像输入步骤3训练好的多频域级联transformer模型中，输出相应的超分辨图像质量分数。
7、本专利技术的特点还在于：
8、步骤1的具体过程如下：
9、步骤1.1，将qads和pipal数据集中的图像随机裁剪crop成一组图像块，得到特征f0，过程如下公式(1)所示：
10、f0＝crop(isr) (1)
11、其中，是输入图像，cin代表输入图像的通道，h和w分别表示特征的高度和宽度；
12、步骤1.2，使用局部对比度归一化lcn筛出图像中的相同强度区域并突出边缘区域，最后对每一个图像块分配标签；
13、步骤1.3，将经步骤1.2处理后的qads和pipal数据集划分为训练集、验证集和测试集。
14、步骤2中，多频域级联transformer模型包括频域分割模块fdm、特征提取模块fem和质量分数预测模块psm。
15、步骤2中，通过多频域级联transformer模型得到图像的预测质量分数的具体过程如下：
16、步骤2.1，在频域分割模块fdm中，利用2d-dct将超分辨图像转换到频域，得到频域特征fq，如下公式(2)所示；再将提取的频域特征fq分为三个不同的频带，包括高频信息hf、中频信息mf和低频信息lf，最终输出三个不同频带的总特征ffdm，如下公式(3)所示：
17、fq＝dct(f0) (2)
18、[hf,mf,lf]＝fdm(fq)＝ffdm (3)；
19、步骤2.2，将步骤2.1输出的总特征ffdm输入特征提取模块fem中的低级特征提取模块lfe中，经过两个卷积操作提取低级特征将低级特征通过四个堆叠的bottleneck，产生特征过程如下公式(5)和公式(6)所示：
20、
21、
22、其中，h和w分别表示特征的高度和宽度，hconv(-)和hblnk(-)分别代表3×3大小的卷积和bottleneck层，c是提取的浅层特征的通道数，i∈[hf,mf,lf]代表三个不同的频带；
23、步骤2.3，将步骤2.2的输出特征输入特征提取模块fem中的深层特征提取模块dfe中经过卷积操作得到特征将经过堆叠的transformer块获得特征过程如公式(7)所示：
24、
25、其中，swin(-)是堆叠的transformer块；
26、步骤2.4，将特征与经过卷积、块归一化、relu激活函数和最大池化后的特征进行逐像素的相乘得到特征过程如下公式(8)和公式(9)所示：
27、
28、
29、其中，conv、maxpool分别代表卷积和最大池化操作，表示逐像素相乘；
30、通过通道注意力模块ca得到dfe的最终输出ti，过程如下公式(10)所示：
31、
32、其中，cat(·)代表通道注意力模块(ca)，ti是ca的输出特征，是三个频带经过级联transformer块caf之后的特征集合，ca的计算过程如公式(11)和(12)所示：
33、
34、i∈[hf,mf,lf] (12)
35、其中，σ是激活函数，conv表示卷积操作，avgpool、maxpool分别表示平均池化和最大池化操作；
36、步骤2.5，将步骤2.4输出特征ti输入到质量分数预测模块psm中，依次经过最大池化、最小池化及平均池化处理后输入到四层全连接层中，由于i分别取高频hf、中频mf及低频lf，因此，依次经过四层全连接层处理后分别输出高频质量分数s1、中频质量分数s2及低频质量分数s3，将高频质量分数s1、中频质量分数s2、低频质量分数s3进行平均操作得到图像的预测分数iqa score。
37、步骤3中，训练过程中使用l1损失，如下公式(14)所示：
38、
39、其中，m表示图像个数，y、分别表示真实质量分数和预测的质量分数，ym表示训练过程中第m个图像特征的真实质量分数，表示训练过程中第m个图像特征经过mfct方法预测出来的图像质量分本文档来自技高网...
【技术保护点】
1.基于多频域级联的超分辨图像质量评价方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤1的具体过程如下：
3.根据权利要求2所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤2中，多频域级联Transformer模型包括频域分割模块FDM、特征提取模块FEM和质量分数预测模块PSM。
4.根据权利要求3所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤2中，通过多频域级联Transformer模型得到图像的预测质量分数的具体过程如下：
5.根据权利要求4所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤3中，训练过程中使用L1损失，如下公式(14)所示：
【技术特征摘要】
1.基于多频域级联的超分辨图像质量评价方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤1的具体过程如下：
3.根据权利要求2所述的基于多频域级联的超分辨图像质量评价方法，其特征在于：所述步骤2中，多频域级联transformer模型包括频域分割模块fdm、特征提取模块f...
【专利技术属性】
技术研发人员：张凯兵，樊丹丹，时光，卢健，李敏奇，习龙，刘宝宝，陈金广，孟雅蕾，师红宇，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。