一种光场图像空间超分辨率方法技术

本发明专利技术涉及一种光场图像空间超分辨率方法，包括：获取低空间分辨率光场图像的初始图像，分别提取初始图像的子孔径图像阵列Y、U、V通道信息；对初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于初始图像的子孔径图像阵列Y通道信息和高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；对初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；基于最终高空间分辨率的子孔径图像阵列Y、U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。本发明专利技术能够提高光场图像空间的重建质量和效率。明能够提高光场图像空间的重建质量和效率。明能够提高光场图像空间的重建质量和效率。

【技术实现步骤摘要】
一种光场图像空间超分辨率方法


[0001]本专利技术涉及图像处理
，特别是涉及一种光场图像空间超分辨率方法。

技术介绍

[0002]光场相机可以通过单次拍摄获得场景的三维信息，在三维重建、再聚焦、虚拟现实等领域有着广泛的应用。然而，由于空间分辨率和角度分辨率之间的内在权衡，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像。所获取的光场图像的空间分辨率较低，这阻碍了其在高分辨率场景中的应用。因此，如何让利用低空间分辨率的光场图像来重建高空间分辨率的光场图像具有重要的理论意义和实际应用价值。
[0003]一些传统的光场图像空间超分辨率方法首先获取图像的先验信息，然后重建出高空间分辨率的图像，但是难以获得高质量的结果。随着卷积神经网络的快速发展，提出了一些基于学习的光场图像方法，他们大都关注光场图像数据的高维特征，使用卷积来表征空间域或者角域的像素信息，但忽略了光场图像固有的视差结构。各视点之间的互补信息没有得到充分利用，尤其是图像之间的角度相关性没有得到充分的探索，导致空间超分辨率后的光场图像存在模糊、鬼影等噪声，降低了光场图像的图像质量。因此，亟需一种光场图像空间超分辨率方法来解决上述问题。

技术实现思路

[0004]本专利技术的目的是针对上述技术问题，提出一种光场图像空间超分辨率方法，融合多维度光场图像特征并重组光场角度结构特征的空间超分辨率，能够有效提升空间超分辨率后光场图像的图像质量。<br/>[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种光场图像空间超分辨率方法,包括：
[0007]获取低空间分辨率光场图像的初始图像，分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息；
[0008]对所述初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；
[0009]对所述初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；
[0010]基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。
[0011]进一步地，提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括：
[0012]基于所述初始图像提取子孔径图像阵列，对所述子孔径图像阵列进行空间转换，分别提取所述子孔径图像阵列Y、U、V通道信息。
[0013]进一步地，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：
[0014]对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取第一次融合信息；对所述第一次融合信息进行第二次处理，获取第二次融合信息；对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息。
[0015]进一步地，对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取所述第一次融合信息包括：
[0016]对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络，获取子孔径图像阵列空间特征、角度特征的Y通道信息，将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第一次融合信息。
[0017]进一步地，对所述第一次融合信息进行第二次处理，获取所述第二次融合信息包括：
[0018]对所述第一次融合信息进行维度变换并利用所述多维度融合网络，获取子孔径图像阵列极平面水平特征、垂直特征的Y通道信息，将所述子孔径图像阵列极平面水平特征、垂直特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第二次融合信息。
[0019]进一步地，对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：
[0020]对所述第二次融合信息进行角度维度的重新排列并利用光场图像空间超分辨率网络，获取所述高空间分辨率的子孔径图像阵列Y通道信息。
[0021]进一步地，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息包括：
[0022]对所述初始图像的子孔径图像阵列Y通道信息进行双线性上采样，获得处理后的Y通道信息，将所述处理后的Y通道信息与所述高空间分辨率的子孔径图像阵列Y通道信息进行相加，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息。
[0023]进一步地，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息包括：
[0024]对所述初始图像的子孔径图像阵列U、V通道信息进行双线性上采样，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息。
[0025]进一步地，获取所述最终高空间分辨率的子孔径图像阵列包括：
[0026]将所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息进行合并和空间转换，获取所述最终高空间分辨率的子孔径图像阵列。
[0027]本专利技术的有益效果为：
[0028](1)本专利技术所提出的光场图像空间重建方法充分利用了光场图像子孔径阵列图像之间的空间、角度和极平面结构信息以及角度相关性，可以一次性重建高空间分辨率的光场图像子孔径阵列图像。
[0029](2)对比传统光场图像空间重建算法，本专利技术深入挖掘光场子孔径阵列图像的空间、角度和极平面信息并且更好的探究角度相关性，提高了重建质量；本专利技术重建低分辨率的光场子孔径阵列图像任意倍数的高空间分辨率的光场子孔径阵列图像，获取分辨率更大的光场图像子孔径图像，提高了重建效率以及光场成像技术在多个图像处理应用中的效
果。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术实施例的一种光场图像空间超分辨率方法流程图；
[0032]图2为本专利技术实施例的光场图像空间超分辨率框架图；
[0033]图3为本专利技术实施例的多维特征融合网络框架图；
[0034]图4为本专利技术实施例的空间超分辨率网络框架图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]为使本专利技术的上述目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光场图像空间超分辨率方法，其特征在于，包括：获取低空间分辨率光场图像的初始图像，分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息；对所述初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；对所述初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。2.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括：基于所述初始图像提取子孔径图像阵列，对所述子孔径图像阵列进行空间转换，分别提取所述子孔径图像阵列Y、U、V通道信息。3.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取第一次融合信息；对所述第一次融合信息进行第二次处理，获取第二次融合信息；对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息。4.根据权利要求3所述的光场图像空间超分辨率方法，其特征在于，对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取所述第一次融合信息包括：对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络，获取子孔径图像阵列空间特征、角度特征的Y通道信息，将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通...

【专利技术属性】
技术研发人员：刘德阳，査海涅，童在东，
申请(专利权)人：安徽易刚信息技术有限公司，
类型：发明
国别省市：