【技术实现步骤摘要】
一种基于Conformer和元学习的全参考图像质量评价方法
[0001]本专利技术涉及图像、视频处理
，特别涉及一种基于Conformer和元学习的全参考图像质量评价方法。
技术介绍
[0002]在图像去噪、图像超分辨率、图像压缩等领域中，图像失真情况成为了图像处理领域中一个关键评价指标。通过人类观察者获得的图像感知质量分数是准确的，但这需要耗费大量的人力和物力。
[0003]传统的全参考图像质量评价方法一般采用手动获得特征描述符，从失真图像中提取出表征与参考图像不一样的失真相关特征，然而，手工特征描述符很难囊括所有的失真类型。
[0004]基于深度学习的全参考图像质量评价方法中，若在训练过程中采用常规的单梯度下降法，当训练数据集和测试数据集属于两种不同类型的小样本数据集时，模型从当前数据集上学习到的失真类型判断能力，实际上很难应用于另一数据集，这会导致模型的泛化能力降低。
[0005]因此，在现有全参考图图像质量评价方法的基础上，当面对多种失真类型的小样本数据集时，如何在保证模型泛化能力的基础...
【技术保护点】
【技术特征摘要】
1.一种基于Conformer和元学习的全参考图像质量评价方法，其特征在于，包括如下步骤：S1、获取待预测的失真图像和对应的参考图像；S2、将所述失真图像和对应的参考图像输入预先训练完成的图像质量评价模型中；所述图像质量评价模型包括：特征提取模块、相似度计算模块、权重计算模块、评价分数模块和基于元学习的训练和测试模块；S3、输出所述失真图像对应的预测分数。2.根据权利要求1所述的一种基于Conformer和元学习的全参考图像质量评价方法，其特征在于，所述步骤S2中的图像质量评价模型训练过程包括：S21、将多种类型的失真图像和对应的参考图像，作为训练数据集，输入以Conformer为特征提取模块的孪生网络中，提取失真图像和参考图像各自对应的特征向量；S22、在相似度计算模块中，将所述失真图像和参考图像各自对应的特征向量，分别采用预设的两种方式计算获得失真图像和参考图像特征向量的相似度；S23、在权重计算模块中，将失真图像的特征向量和参考图像的特征向量融合后，通过多个全连接层和激活函数，将融合特征映射为特征向量相似度的权重；S24、结合步骤S22中失真图像和参考图像特征向量的相似度、以及步骤S23中特征向量相似度的权重，计算失真图像和参考图像最终的特征向量相似度，获得失真图像最终的质量评价分数；S25、将元学习加入到模型的训练和测试过程：在训练阶段，通过利用从支持集到查询集的双梯度下降法，让模型根据一部分失真类型学习调整当前的模型初始化参数；在测试阶段，通过少量另一部分其它失真类型的图像，对经过训练阶段后具有识别失真类型能力的模型进行参数微调，得到最终的图像质量评价模型。3.根据权利要求2所述的一种基于Conformer和元学习的全参考图像质量评价方法，其特征在于，所述步骤S21中，输入以Conformer为特征提取模块的孪生网络中，提取失真图像和参考图像各自对应的特征向量；包括：分别将失真图像和对应的参考图像输入以Conformer为主干的特征提取网络中，利用自注意力机制提取出各自对应的全局特征；并利用卷积操作提取出各自对应的局部特征；将所述全局特征和局部特征相互嵌入后，改变其维度，提取失真图像和参考图像各自对应的特征向量。4.根据权利要求2所述的一种基于Conformer和元学习的全参考图像质量评价方法，其特征在于，所述步骤S22中，分别采用预设的两种方式计算获得失真图像和参考图像特征向量的相似度，包括：利用ProjectedDotProductSimilarity方法计算失真图像特征向量和参考图像特征向量间的相似度similarity1：similarity1＝V
1T
w1(V
2T
w2)
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)式中，V1表示参考图像通过孪生网络后得到的特征向量；V2表示失真图像通过孪生网络后得到的特...
【专利技术属性】
技术研发人员：周明亮，郎书君，蒲华燕，罗均，张太平，尚赵伟，向涛，房斌，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。