基于感知损失的光场图像角度超分辨率重建方法技术

本发明专利技术涉及一种基于感知损失的光场图像角度超分辨率重建方法，属于光场成像领域。该方法将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。本发明专利技术通过引入表达高维特征的感知损失，可以更好地保持超分辨率重建后新视角图像的纹理细节，拥有更好的视觉效果。

Angle super-resolution reconstruction method based on perceptual loss for optical field images

The invention relates to an optical field image angle super resolution reconstruction method based on perceptual loss, which belongs to the field of optical field imaging. This method uses the mean square variance of the high dimensional feature extracted by the pre training model as the loss function. By constructing a network model composed of four residual blocks, the nonlinear mapping relationship between the observed image and the target visual angle image is learned, thus the new visual angle image is reconstructed. The invention can better maintain the texture details of the new visual image after the super resolution reconstruction by introducing the perceptual loss that expresses the high dimensional features, and has better visual effect.

【技术实现步骤摘要】
基于感知损失的光场图像角度超分辨率重建方法
本专利技术属于光场成像领域，涉及基于感知损失的光场图像角度超分辨率重建方法。
技术介绍
光场成像已经成为下一代成像系统研究中的焦点。光场图像包含光线的空间信息和角度信息，因此，光场相机可以一次拍摄多个视角的图像。多个研究表明，光场图像在很多领域有良好的应用前景，比如图像显著度检测、图像的深度估计等。全光场相机的基本原理是在普通成像系统的一次像面处插入一个微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像，从而得到一个4维光场信息，包括2维空间信息和2维角度信息。由于传感器分辨率的局限性，全光场相机通常牺牲空间分辨率而提升角度分辨率。这种限制阻碍了光场成像技术的应用。因此，光场图像超分辨率重建变得至关重要。图像超分辨率重建从低分辨率图像中恢复出高分辨率图像。近期，很多研究者用卷积神经网络(CNN)来实现图像超分辨率重建。主要原因是CNN有强大的泛化能力，能够通过训练大量数据拟合模型，在测试中获得了良好的效果。然而，单张图像的超分辨率重建方法不能直接用于光场图像，因为光场图像不仅包含图像的空间信息，而且包含图像的角度信息。为了增大空间分辨率和角度分辨率，很多研究采用了对极平面图像(EPI，4维光场数据在空间维度和方向维度的2维切片)。因为对极平面图像仅包含不同斜率的线段，包含的数据维度低于原始维度，使得图像处理和优化变得简单。然而，消费级光场相机获取的光场图像质量较低，影响了以上方法的表现。正如这篇文章所讨论的那样，消费级光场相机受镜头畸变、微透镜畸变、光晕的影响，难以获取准确的极平面图像。2012年，Wanner等人首次提出了在贝叶斯框架下，以最大后验估计作为数据项，全变分模型作为能量函数的先验模型，渲染得到多视角全光场图像。2016年，yoon等人提出了一种基于数据驱动的监督学习方法，用一个由空间超分辨率网络和角度超分辨率网络组成的串行卷积神经网络进行光场图像超分辨率重建。同年，Kalantari等人把视图生成分为视差估计和颜色估计，分别用一个卷积神经网络进行估计，通过最小化合成视图与目标视图的误差进行训练。以上几种方法都是通过最小化新视角图像与目标图像之间的均方差进行模型估计，但像素级的损失与人眼观察到的视觉损失并不一致，有可能像素级的损失较高者反而比损失较低者更加模糊。因为人眼对亮度不敏感，而对亮度差比较敏感。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于感知损失的光场图像角度超分辨率重建方法。为达到上述目的，本专利技术提供如下技术方案：基于感知损失的光场图像角度超分辨率重建方法，该方法为：将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的卷积神经网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。进一步，所述预训练模型由两部分组成，一是学习观测图像到新视角图像的映射函数，即光场图像角度超分辨率网络fW，参数为W；二是感知损失网络φ，定义一系列的损失函数li，i＝1,2,3...为损失函数的序号；设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp，则定义yp＝fW(x)，每个损失函数计算新视角图像yp和目标新视角图像y的损失大小li(yp,y)，权重比例为λi；通过梯度下降法最小化能量函数E，求解出最优的W值，表示为：该模型在不同卷积层提取特征，表达人类对图像的视觉感知情况，层越深，提取的特征越复杂，代表物体的高维特征；利用卷积特征计算观测图像和新视角图像的视觉感知对比损失情况，根据不同卷积层的特征图定义损失函数设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp，则定义yp＝fW(x)，每个损失函数计算新视角图像y和新视角图像yp的损失大小fW的求解过程转化为利用公式(1)进行梯度下降求最优解。进一步，在所述方法中引入深度残差网络，形成一种深层的网络结构；在构建的具有深度残差网络结构的卷积神经网络中，各卷积层之间采用跨层连接，用于解决增加深度带来的副作用，增加网络的深度，提高网络的性能；在所述方法中引入感知损失，用于学习图像高维特征之间的映射关系，保留图像的细节信息。进一步，采用VGG19网络的第二块的第二层的激活值relu2_2作为所述高维特征，在时间和精度上达到平衡。进一步，在所述预训练中，先采用像素级损失，后采用感知损失，用于避免仅采用感知损失带来的收敛较慢的问题。本专利技术的有益效果在于：本专利技术将预训练模型提取的图像高层次特征的均方差作为损失函数，可以更好地保持超分辨率重建后新视角图像的纹理细节，拥有更好的视觉效果。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术概要介绍图；图2为本专利技术模型图；图3为本专利技术的角度超分辨率网络残差块的结构；图4为本专利技术的实验对比。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。如图1所示，输入为四个观测视角的图像，本专利技术通过三个不同的角度超分辨率模型，生成了新的视角图像，提高了光场图像的角度分辨率。模型由两部分组成，一是光场图像角度超分辨率网络fW，二是感知损失网络φ，如图2。角度超分辨率网络fW是一个深度残差卷积神经网络如表1所示：层激活尺寸输入层6×36×36或12×36×36卷积层1，滤波器大小64×9×964×36×36残差块1,64个滤波器64×36×36残差块2,64个滤波器64×36×36残差块3,64个滤波器64×36×36残差块4,64个滤波器64×36×36输出层2，滤波器大小3×9×93×36×36如图3所示，主体由四个残差块组成，除了残差卷积层和输出层，所有卷积层都使用批归一化层和非线性激活函数。输出层使用一个双曲正切函数来保证输出值在[0,255]内；除了第一个和最后一个卷积层使用9×9大小的卷积核，其他卷积层使用3×3大小的卷积核。不同于传统的像素级损失函数(公式2)，本专利技术采用感知损失函数衡量图像间的差异。采用VGG19预训练模型作为感知损失网络φ。把通过角度超分辨率网络fW获得的新视角图像yp和目标视角图像y作为感知损失网络φ的输入图像，获得各卷积层的图像特征φ，φ的第j个激活函数的特征定义为φj，计算均方误差(MeanSquaredError,MSE)，最终定义损失函数如公式(3)所示：本专利技术使用Kalantari等人的数据集，此数据集的光场图像全部由lytro相机拍摄，包含自行车、汽车、树木等各种各样的场景，其中的100张作为训练集，其余作为测试集。这些光场图像的角度分辨率为14×14，本专利技术仅使用横向和纵向编号为3、10的四张视角图像作为输入，横向和纵向编号都为7的视角图像作为目标图像用于对比。将观测图像的颜色通道堆叠起来，横向、纵向、中心角度超分辨率模型输入分别有2、2、4个观测图像，堆叠起来的颜色通道数分别为6、6、12。为了加快训练的速度，将输入图像裁切为36×36大小的图像块，步长为18，这样就有39672个图像片用于训练。为了达到速度与精度的平衡，本专利技术使用批处理大小为64。通过LeCun正态分布初始化网络权重，采用Adam优化器，学习率为1e-3。第一次初步训练使用像素级的均方差损失加快收敛速度。第二次采用感知本文档来自技高网...

【技术保护点】
1.基于感知损失的光场图像角度超分辨率重建方法，其特征在于：该方法为：将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的卷积神经网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。

【技术特征摘要】
1.基于感知损失的光场图像角度超分辨率重建方法，其特征在于：该方法为：将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的卷积神经网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。2.根据权利要求1所述的基于感知损失的光场图像角度超分辨率重建方法，其特征在于：所述预训练模型由两部分组成，一是学习观测图像到新视角图像的映射函数，即光场图像角度超分辨率网络fW，参数为W；二是感知损失网络φ，定义一系列的损失函数li，i＝1,2,3...为损失函数的序号；设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp，则定义yp＝fW(x)，每个损失函数计算新视角图像yp和目标新视角图像y的损失大小li(yp,y)，权重比例为λi；通过梯度下降法最小化能量函数E，求解出最优的W值，表示为：该模型在不同卷积层提取特征，表达人类对图像的视觉感知情况，层越深，提取的特征越复杂，代表物体的高维特征；利用卷积特征计算观测图像和新视角图像的视觉感知对比损失情况，根据不同...

【专利技术属性】
技术研发人员：秦红星，王孟辉，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50