【技术实现步骤摘要】
本专利技术涉及图像处理领域，更进一步涉及图像质量评价中的一种基于视觉线索关联解析的无参考图像质量评价方法。本专利技术可用于在没有额外信息的情况下对图像的失真程度进行评估的场景。
技术介绍
1、无参考图像质量评价方法(biqa)指的是在不需要参考图像的情况下准确、自动地预测人类感知的图像质量的一种方法。其广泛应用于图像处理、计算机视觉、计算机图形应用程序的设计、优化和评估。由于在这些图像处理系统的每个阶段都有可能会引入各种类型的失真从而导致图像质量下降，所以开发能够自动预测人类观测者感知的图像质量评价方法显得尤为重要。
2、目前，无参考图像质量评价方法主要分为基于手工特征的传统方法和基于深度学习方法。基于手工特征的图像质量评价模型，通常是由特征提取单元和质量回归模型两部分组成。根据特征提取的方式不同，基于手工特征的质量评价模型又可以分为基于自然场景统计特性的方法和基于人类视觉系统引导的方法。基于自然场景统计特性的无参考图像质量评价，建立在高保真图像遵循特定统计特性的前提之上。然而，这些统计特性会因图像质量的退化而发生改变。人类视觉系统是视觉信号的最终接收者，在图像质量指标的设计中利用人类视觉系统的感知特性具有重要意义，目前基于人类视觉系统引导的方法中最突出的两类是基于自由能原理的方法和基于视觉灵敏度的方法。然而，基于手工特征的图像质量评价方法却存在一些明显的缺点，包括对专业知识的依赖、泛化能力有限、难以适应新的图像类型和退化模式，这些限制促使图像质量评价转向基于机器学习的方法，以实现更准确、灵活和自动化的图像质量评估。
3、基于深度学习的图像质量评价方法对比传统的方法，在主客观一致性方面有了质的飞跃。在预训练阶段从图像分类任务中学习到的抽象特征与无参考图像质量评价任务之间存在高度相关性。从图像分类任务迁移到无参考图像质量评价任务主要涉及图像质量标签对抽象特征的有监督约束，使得模型能够有效地建立质量感知的特征流形，同时获得较强的泛化能力。目前，已经有诸多无参考图像质量评价方法借鉴了预训练语言模型及其变体在下游任务上的策略，并取得的了显著的成功。然而，不同失真图像在流形空间的投影距离并不能表示质量感知距离。也就是说质量标签mos分数和图像本身的回归关系会受到质量感知的特征流形的非均匀性影响。这种基于语义感知的预训练模型鼓励同类别图像的表征具有相似的表示，而忽略了感知图像质量的变化。
4、厦门大学在其申请的专利文献“一种基于扩散模型的无参考图像质量评价方法”(申请号：cn202410070380.x；申请公开号：cn 117593296 a)中公开了一种基于扩散模型的无参考图像质量评价方法。该方法的实现方案是：第一步，基于biqa教师模块、biqa学生模块、特征融合模块、噪声适配模块以及输出模块创建一图像质量评价模型，所述biqa教师模块以clip模型为主干网络，biqa学生模块以transformer模型为主干网络；第二步，获取大量的图像，对各所述图像进行预处理并构建图像数据集；第三步，利用所述图像数据集对图像质量评价模型进行训练；第四步，利用训练后的所述图像质量评价模型进行图像质量评价。该方法中的特征融合模块对输入的失真特征和质量水平特征按粒度进行融合，通过噪声适配模块来确保融合的粗到细粒度特征与预定义的噪声水平之间的一致性，从而进一步增强质量水平特征的对齐性，最终提升了无参考图像质量评价精度。但是该方法仍然存在不足之处：图像质量评价过程中的局部块之间的交互过程是对称的，具有不同注意力权重的部分对最终预测结果具有相同的影响，不符合人类视觉系统的感知过程，从而导致评价结果不精确。
5、西安电子科技大学在其申请的专利文献“基于混合注意力的无参考图像质量评价方法”(申请号：cn 202310294941.x；申请公开号：cn 1163094886 a)中公开了基于混合注意力的无参考图像质量评价方法。该方法的实现方案是：第一步，获取训练样本集和测试样本集；第二步，构建基于混合注意力无参考图像质量评价的网络模型：在基于混合注意力无参考图像质量评价的网络模型中包括显著性特征图生成模型和混合注意力网络，将失真图像首先输入到显著性特征图生成模型中，得到图像的显著性特征，然后将原失真图像与其显著性特征进行融合；将得到的融合特征经过混合注意力网络，来实现通道级和像素级的特征权重分配，最后利用加权后的特征图回归出图像质量分数；第三步，对基于混合注意力无参考图像质量评价的网络模型进行迭代训练；第四步，获取图像的无参考质量评价结果：将第一步中的测试样本集作为训练完成的基于混合注意力网络的无参考图像质量评价网络模型的输入进行前向推理，得到每个测试样本的质量预测分数。该方法基于注意力加权方法结合金字塔特征来构建显著性映射加权图，考虑到了图像不同区域的失真的差异性会导致各失真部位对图像整体质量分数的影响不同，提高了质量分数预测的准确性。但是，该方法仍然存在不足之处：依赖单一层次的信息，难以适应各种复杂的失真类型和多样化的图像内容。
技术实现思路
1、本专利技术的目的是针对上述现有方法存在的不足，提出一种基于视觉线索关联解析的无参考图像质量评价方法，用于解决现有技术中的注意力交互方式中不存在token之间的主次关系，导致在图像不同区域之间的交互与人类感知不符，大多依赖单一层次的特征，难以适应各种复杂的失真类型和多样化的图像内容的问题。
2、实现本专利技术目的的思路是：本专利技术构建了局部非平等转置注意力子网络，将图像的局部区域的交互修正为非平等关系。图像中的当前局部内容投影到度量子空间中与其余内容之间的距离可以表示局部子图之间的远近，并通过argmax(·)函数找到与当前局部内容“最接近”的父节点。为了模仿人类视觉系统在评价图像时的注意力交互方式，本专利技术使用转置注意力子网络，在前向注意力中当前局部内容接收其余所有的节点的相似度信息，而在反向注意力中遵循归一化概率值来传递信息给其余节点，利用第二维归一化信息来传递信息给注意力权重高的部分。以此解决了现有技术中的注意力交互方式中不存在token之间的主次关系，导致在图像不同区域之间的交互与人类感知不符的问题。本专利技术采用分组聚类任务中的可微分采样构建图像粗粒度到细粒度的局部块之间的相似性。通过关联解析模块寻找图像块节点上的局部内容之间的相似性，将重要相似局部块的信息汇聚到一个节点上以此解决了现有的无参考图像质量评价方法大多依赖单一层次的特征，难以适应各种复杂的失真类型和多样化的图像内容的问题。
3、实现本专利技术目的的具体步骤如下：
4、步骤1，构建局部非平等交互的转置注意力子网络：
5、搭建第一、第二两个结构相同参数不同的局部非平等交互的转置注意力子网络，其结构依次为：第一卷积层、第二卷积层、转置操作层、第三卷积层、第一归一化层、全连接层、第二归一化层，其中，第一卷积层与第一归一化层、第一归一化层与第二归一化层之间进行残差连接；
6、步骤2，构建视觉线索关联解析模块：
7、搭建第一、第二两个结构相同参数设置本文档来自技高网...
【技术保护点】
1.一种基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，通过构建包括局部非平等交互的转置注意力子网络与视觉线索关联解析模块的基于视觉线索关联解析的无参考图像质量评价网络对无参考图像进行质量评价；该无参考图像评价方法步骤包括如下：
2.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤1中所述参数不同的局部非平等交互的转置注意力子网络是指，将第一注意力子网络中的第一卷积层的特征分组数量Heads设置为6，第一至第三卷积层的输入通道数分别设置为64，128和128，卷积核的大小分别设置为1×1、3×3和1×1，步长均设置为1，将全连接层的节点个数设置为128；将第二注意力子网络中的第一至第三卷积层的输入通道数分别设置为128，256和256，全连接层的节点个数设置为64，其余参数设置与第一注意力子网络一致。
3.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤2中所述参数设置不同的视觉线索关联解析模块是指，将第一视觉线索关联解析模块中第一至第三卷积层的输入与输出通道数均设置为128，卷
4.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤3中所述图像质量回归模块的结构依次为：归一化层、自注意力解码块、全连接层，将全连接层的节点个数设置为16；所述自注意力解码块由三个结构和参数设置均相同的自注意力解码层级联组成，每个自注意力解码层由三个卷积层级联组成，其中，卷积层输入通道数均设置为192，输出通道数均设置为192。
5.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤4中所述的归一化处理指的是：将样本集中的每张图像归一化处理的均值设置为mean＝[0.485,0.456,0.406],标准差设置为std＝[0.229,0.224,0.225]，对图像的R，G，B三个通道分别使用以下公式处理：
6.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤4中所述生成训练集的步骤如下：
7.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤4中所述的线性编码指的是：将训练集中的每张图像均分成非重叠图像块，得到N个大小为P×P×3的局部块，通过线性嵌入编码将一张图像的所有局部块映射为特征向量，将所有特征向量构成一个输入序列，在输入序列的开头增加一个CLS作为可学习token，其中，N表示非重叠图像块的总数，P、P分别表示每个局部块的宽度与高度，P是w、h的公因数，CLS是与特征向量相同维度的随机向量。
8.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤5中所述设置训练参数具体为：小正数设置为epsilon＝1e-8，学习率设置为learn_ratio＝2×10-5，子图的宽度与高度设置为w＝224,h＝224，局部块的宽度与高度设置为P＝14，训练轮数设置为epoch＝30。
9.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤5中所述损失函数具体为：
...【技术特征摘要】
1.一种基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，通过构建包括局部非平等交互的转置注意力子网络与视觉线索关联解析模块的基于视觉线索关联解析的无参考图像质量评价网络对无参考图像进行质量评价；该无参考图像评价方法步骤包括如下：
2.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤1中所述参数不同的局部非平等交互的转置注意力子网络是指，将第一注意力子网络中的第一卷积层的特征分组数量heads设置为6，第一至第三卷积层的输入通道数分别设置为64，128和128，卷积核的大小分别设置为1×1、3×3和1×1，步长均设置为1，将全连接层的节点个数设置为128；将第二注意力子网络中的第一至第三卷积层的输入通道数分别设置为128，256和256，全连接层的节点个数设置为64，其余参数设置与第一注意力子网络一致。
3.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤2中所述参数设置不同的视觉线索关联解析模块是指，将第一视觉线索关联解析模块中第一至第三卷积层的输入与输出通道数均设置为128，卷积核大小分别设置为1×1、3×3和1×1，步长均设置为1，概率估计层选用函数为gumble-softmax；将第二视觉线索关联解析模块中第一至第三卷积层的输入与输出通道数均设置为64，其余参数设置与第一视觉线索关联解析模块一致。
4.根据权利要求1所述的基于视觉线索关联解析的无参考图像质量评价方法，其特征在于，步骤3中所述图像质量回归模块的结构依次为：归一化层、自注意力解码块、全连接层，将全连接层的节点个数设置为16；所述自注意力解码块由三个结构和参数设置均相同的自注意力解码层级...
【专利技术属性】
技术研发人员：路文，叶柯源，梁泽红，向麟海，徐力，田高，何立火，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。