The invention relates to an optical field image angle super resolution reconstruction method based on perceptual loss, which belongs to the field of optical field imaging. This method uses the mean square variance of the high dimensional feature extracted by the pre training model as the loss function. By constructing a network model composed of four residual blocks, the nonlinear mapping relationship between the observed image and the target visual angle image is learned, thus the new visual angle image is reconstructed. The invention can better maintain the texture details of the new visual image after the super resolution reconstruction by introducing the perceptual loss that expresses the high dimensional features, and has better visual effect.
【技术实现步骤摘要】
基于感知损失的光场图像角度超分辨率重建方法
本专利技术属于光场成像领域，涉及基于感知损失的光场图像角度超分辨率重建方法。
技术介绍
光场成像已经成为下一代成像系统研究中的焦点。光场图像包含光线的空间信息和角度信息，因此，光场相机可以一次拍摄多个视角的图像。多个研究表明，光场图像在很多领域有良好的应用前景，比如图像显著度检测、图像的深度估计等。全光场相机的基本原理是在普通成像系统的一次像面处插入一个微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像，从而得到一个4维光场信息，包括2维空间信息和2维角度信息。由于传感器分辨率的局限性，全光场相机通常牺牲空间分辨率而提升角度分辨率。这种限制阻碍了光场成像技术的应用。因此，光场图像超分辨率重建变得至关重要。图像超分辨率重建从低分辨率图像中恢复出高分辨率图像。近期，很多研究者用卷积神经网络(CNN)来实现图像超分辨率重建。主要原因是CNN有强大的泛化能力，能够通过训练大量数据拟合模型，在测试中获得了良好的效果。然而，单张图像的超分辨率重建方法不能直接用于光场图像，因为光场图像不仅包含图像的空间信息，而且包含图像的...
【技术保护点】
1.基于感知损失的光场图像角度超分辨率重建方法，其特征在于：该方法为：将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的卷积神经网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。
【技术特征摘要】
1.基于感知损失的光场图像角度超分辨率重建方法，其特征在于：该方法为：将预训练模型提取的图像高维特征的均方差作为损失函数，通过构建一个由四个残差块组成的卷积神经网络模型，学习观测图像与目标视角图像之间的非线性映射关系，从而重建出新视角图像。2.根据权利要求1所述的基于感知损失的光场图像角度超分辨率重建方法，其特征在于：所述预训练模型由两部分组成，一是学习观测图像到新视角图像的映射函数，即光场图像角度超分辨率网络fW，参数为W；二是感知损失网络φ，定义一系列的损失函数li，i＝1,2,3...为损失函数的序号；设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp，则定义yp＝fW(x)，每个损失函数计算新视角图像yp和目标新视角图像y的损失大小li(yp,y)，权重比例为λi；通过梯度下降法最小化能量函数E，求解出最优的W值，表示为：该模型在不同卷积层提取特征，表达人类对图像的视觉感知情况，层越深，提取的特征越复杂，代表物体的高维特征；利用卷积特征计算观测图像和新视角图像的视觉感知对比损失情况，根据不同...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。