基于深度元学习的无参考光场图像质量评估方法及系统技术方案

本发明专利技术提供了一种基于深度元学习的无参考光场图像质量评估方法及系统，分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集；构建包含

【技术实现步骤摘要】
基于深度元学习的无参考光场图像质量评估方法及系统


[0001]本专利技术涉及图像处理
，具体地，涉及一种基于深度元学习的无参考光场图像质量评估方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质
。

技术介绍

[0002]随着沉浸式多媒体技术和虚拟现实技术的发展，光场技术已经成为计算视觉领域的一个研究热点，近年来吸引了许多相关研究人员的关注
。
由于光场是空间中的光的集合，通过获取和显示光场图像可以直观地再现三维
(3D)
世界
。
由于其丰富的空间和角度信息，光场被广泛用于图像应用中，包括深度估计
、
重新聚焦
、
三维重建等
。
但是，在光场处理的每个环节中，失真效应是不可避免的，这导致了光场内容感知质量的下降
。
为了指导和监督光场图像
(LFI)
的获取
、
处理和应用，设计一个符合人类视觉系统的光场图像质量评估
(LFIQA)
模型至关重要
。
[0003]然而，现有的光场图像质量评估模型大多是基于传统的机器学习来手动提取特征，再通过质量回归模型
(
比如支持向量机
(SVR))
来将输入的图像特征映射到其质量分数上
。
虽然效果很好，但是并没有实现全自动的客观评估，没有带来很多便利
。
同时，研究发现，使用深度卷积神经网络的图像质量评估已经在低维图像评估模型上得到了很好的效果
。
不幸的是，
LFIQA
是一个小样本问题，大多数光场数据集包含的图像内容相对较少
。
因此，大多数现有的基于深度学习的图像质量评价
(IQA)
模型不能很好地适应高维的
LFIQA
模型，导致在评估不同类型的失真时容易出现欠拟合或过拟合问题
。
而且不少
IQA
模型没有考虑到光场图像信息极为丰富的特点，没有将其空间信息和角度信息都结合在一起进行评估，导致在评估某些由重建等破坏角度信息的扭曲时，不能达到很好的效果
。
同时，由于图像质量评估需要依赖于人眼识别，因此模型是否符合人眼视觉特效也特别重要，有些模型并没有很好的结合人眼识别特性进行图片质量评估，因此它们的效果达不到一定的高度
。
[0004]经过检索发现：
[0005]公开号为
CN115937064A
的中国专利技术专利申请
《
一种基于空间和角度测量的光场图像质量评价方法
》
，包括：采用多频带局部二值模式算法从4维光场图像的子孔径图像阵列中提取光场图像的空间特征；利用基于熵加权局部相位量化的特征提取算法提取4维光场图像的微透镜图像阵列的特征作为光场图像的角度特征；将所述光场图像的空间特征和所述光场图像的角度特征进行特征融合得到一维特征向量；对所述一维特征向量进行支持向量回归池化操作后得到光场图像的质量分数，本专利技术通过对子孔径图像和宏像素分别进行特征提取以有效地量化光场图像的空间质量和角度一致性，避免了光场图像的质量受空间质量和角度一致性制约的问题
。
该方法仍然存在如下技术问题：
[0006]该方法仍然采用传统的手工提取特征的方法，手动提取特征之后还需要用支持向量回归机等回归手段映射到图像的质量分数上
。
[0007]该方法对不同扭曲类型图像没有很好的适应性，可能导致在某些扭曲评分上较低
。

技术实现思路

[0008]本专利技术针对现有技术中存在的上述不足，提供了一种基于深度元学习的无参考光场图像质量评估方法及系统
。
[0009]根据本专利技术的一个方面，提供了一种基于深度元学习的无参考光场图像质量评估方法，包括：
[0010]分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集；
[0011]构建包含
Swim Transformer
网络结构的深度元学习模型；
[0012]基于所述训练集，学习失真的先验知识，得到质量先验模型；
[0013]在测试集上对所述质量先验模型进行微调，得到最终的光场图像质量评估模型；
[0014]利用所述光场图像质量评估模型对待评估光场图像进行光场图像质量评估
。
[0015]优选地，所述分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集，包括：
[0016]将光场图像根据其失真类型划分为多个无参考光场图像质量评估任务，用于构建训练集；其中，在同一个数据集中，具有相同失真类型的光场图像划分成一组，每一组作为一种光场图像质量评估任务；
[0017]将未知失真类型的光场图像作为目标评估任务，用于构建测试集；
[0018]将作为无参考光场图像质量评估任务的光场图像和作为目标评估任务的光场图像分别转化成
MacPI
模式，得到无参考光场图像质量评估所需的训练集和测试集
。
[0019]优选地，所述构建包含
Swim Transformer
网络结构的深度元学习模型，包括：
[0020]构建
Swim Transformer
网络和全连接层网络；其中：
[0021]所述
Swim Transformer
网络，包括：依次连接的
PatchEmbed
模块
、
四个
basicLayer
模块和一个
Linear
层；其中，前三个
basicLayer
模块均包括
Swin Transformer block
子模块和
Patch Merging
子模块，第四个
basicLayer
模块包括
Transformer block
子模块；最后连入全连接层；
[0022]所述
PatchEmbed
模块用于将维度为
H x W x C
的输入光场图像分成
N
个大小为
P*P*C
的
patch
，再将其展平，其中然后输入至所述第一个
basicLayer
模块的
Swin Transformer block
子模块；
[0023]所述
Patch Merging
子模块用于在每一个所述
swin Transformer block
子模块后降低图片分辨率，调整通道数，形成层次化的图像；
[0024]所述全连接层网络用于将所述
Swim Transformer
网络输出的图像的特征映射到输出结果，最后输出的值即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度元学习的无参考光场图像质量评估方法，其特征在于，包括：分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集；无参考光场图像质量评估任务构建包含
Swim Transformer
网络结构的深度元学习模型；基于所述训练集，学习失真的先验知识，得到质量先验模型；在测试集上对所述质量先验模型进行微调，得到最终的光场图像质量评估模型；利用所述光场图像质量评估模型对待评估光场图像进行光场图像质量评估
。2.
根据权利要求1所述的基于深度元学习的无参考光场图像质量评估方法，其特征在于，所述分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集，包括：将光场图像根据其失真类型划分为多个无参考光场图像质量评估任务，用于构建训练集；其中，在同一个数据集中，具有相同失真类型的光场图像划分成一组，每一组作为一种光场图像质量评估任务；将未知失真类型的光场图像作为目标评估任务，用于构建测试集；将作为无参考光场图像质量评估任务的光场图像和作为目标评估任务的光场图像分别转化成
MacPI
模式，得到无参考光场图像质量评估所需的训练集和测试集
。3.
根据权利要求1所述的基于深度元学习的无参考光场图像质量评估方法，其特征在于，所述构建包含
Swim Transformer
网络结构的深度元学习模型，包括：构建
Swim Transformer
网络和全连接层网络；其中：所述
Swim Transformer
网络，包括：依次连接的
PatchEmbed
模块
、
四个
basicLayer
模块和一个
Linear
层；其中，前三个
basicLayer
模块均包括
Swin Transformer block
子模块和
Patch Merging
子模块，第四个
basicLayer
模块包括
Transformer block
子模块；最后连入全连接层；所述
PatchEmbed
模块用于将维度为
H x W x C
的输入光场图像分成
N
个大小为
P*P*C
的
patch
，再将其展平，其中然后输入至所述第一个
basicLayer
模块的
Swin Transformer block
子模块；所述
Patch Merging
子模块用于在每一个所述
swin Transformer block
子模块后降低图片分辨率，调整通道数，形成层次化的图像；所述全连接层网络用于将所述
Swim Transformer
网络输出的图像的特征映射到输出结果，最后输出的值即为光场图像的预测质量分数值
。4.
根据权利要求3所述的基于深度元学习的无参考光场图像质量评估方法，其特征在于，前三个所述
basicLayer
模块中的
Swin Transformer block
子模块的个数分别为
2、2
和
18
；和
/
或第四个所述
basicLayer
模块中的
Transformer block
子模块为2个
。5.
根据权利要求3所述的基于深度元学习的无参考光场图像质量评估方法，其特征在于，所述全连接层网络包括3层全连接层，所述
Swim Transformer
网络输出的图像通过3层全连接层将光场图像的特征逐层映射到最终的输出结果中，最后输出的值即为光场图像预测的质量分数值
。
6.
根据权利要求1所述的基于深度元学习的无参考光场图像质量评估方法，其特征在于，所述基于所述训练集，学习失真的先验知识，包括：将训练集中的光场图像
x
作为输入，依次经过
Swim Transformer
网络和全连接层网络，生成输出值其中，输出值为光场图像
x
的预测质量分...

【专利技术属性】
技术研发人员：马健，张潇尹，李志鹏，王俊博，刘恋国，
申请(专利权)人：安徽大学，
类型：发明
国别省市：