融合光场子孔径图像与宏像素图像的角度超分辨率方法技术

本发明专利技术公开融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：获取初始图像，提取子孔径图像阵列Y通道信息，基于初始图像，获取第一高角度分辨率子孔径图像阵列Y通道信息；将子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；基于第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息，获取最终高角度分辨率子孔径图像阵列Y通道信息，基于U通道信息及V通道信息及最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。本发明专利技术能够有效提升角度超分辨率后光场图像的图像质量。像质量。像质量。

【技术实现步骤摘要】
融合光场子孔径图像与宏像素图像的角度超分辨率方法


[0001]本专利技术涉及图像处理
，特别涉及融合光场子孔径图像与宏像素图像的角度超分辨率方法。

技术介绍

[0002]作为一种多维计算摄像技术，光场成像技术可以同时记录成像平面的光强分布以及光线的角度信息，被认为是下一代成像技术。利用该技术获取的光场图像包含三维场景光线的位置以及角度四维信息，打破了传统相机成像只能获取三维空间中某一个二维平面光强分布的瓶颈。也正是因为该特性，使得光场成像技术在数字重聚焦、深度提取、图像分割、三维重建、识别与跟踪等方面得到了广泛的应用。目前，手持单镜头光场相机是一种应用广泛的光场图像获取设备，可以记录三维场景的空间及角度信息，进一步推动了光场成像技术的发展。但是由于光场相机传感器分辨率的限制，获取光场图像的空间信息与角度信息成反比，也即是在获取高空间分辨率的前提下，并不能获取高的角度分辨率。这直接影响了光场成像技术在场景深度提取、三维重建、虚拟现实等的应用。因此，探索如何利用稀疏的高空间分辨率的光场图像重建高角度分辨率的光场图像具有重要的理论意义和实际应用价值。
[0003]获取具有高角分辨率的光场图像是昂贵的，尽管已经提出了许多方法来提高稀疏采样光场的角度分辨率，但它们总是专注于消费光场相机捕获的具有小基线的光场，并且仍然存在重建质量低、计算效率低或采样模式规律性的限制。最近，已经提出了一些基于学习的方法来隐式学习结构信息并直接合成新视图。在没有明确的深度信息的情况下，这些方法主要是为小基线的光场设计的。然而，这些方法要么使用2D卷积神经网络(CNN)分别对空间域和角域进行建模，要么在极平面图像(EPI)上使用3D CNN对两个维度进行分层上采样，这不能充分探索光场中固有的对应关系，导致角度超分辨率后的光场图像存在模糊、斑点伪影等噪声，降低了合成后的图像质量。

技术实现思路

[0004]为解决上述现有技术中所存在的角度超分辨率后的光场图像图像质量降低等问题，本专利技术提供了融合光场子孔径图像与宏像素图像的角度超分辨率方法，能够有效提升角度超分辨率后光场图像的图像质量。
[0005]为了实现上述技术目的，本专利技术提供了如下技术方案：
[0006]融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：
[0007]获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；
[0008]对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；
[0009]将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏
像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；
[0010]对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；
[0011]对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；
[0012]基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；
[0013]提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。
[0014]可选的，所述子孔径图像阵列Y通道信息的提取过程包括：
[0015]通过光场相机拍摄获取初始图像，将所述初始图像的角度分辨率进行合并，然后将角度分辨率合并后的初始图像从RGB空间转换到YUV空间，在YUV空间中提取子孔径图像阵列Y通道信息。
[0016]可选的，第一高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
[0017]构建子孔径角度超分辨率网络，其中所述子孔径角度超分辨率网络为所述卷积神经网络；
[0018]通过所述子孔径角度超分辨率网络对所述子孔径图像阵列Y通道信息进行处理，获取粗高角度分辨率子孔径阵列图像；
[0019]对所述粗高角度分辨率子孔径阵列图像进行空间图像几何变换得到第一高角度分辨率子孔径图像阵列Y通道信息。
[0020]可选的，所述第二高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
[0021]将所述子孔径图像阵列Y通道信息中每个角度的相同位置的像素进行提取，并基于提取的像素构成所述宏像素图像阵列Y通道信息；
[0022]将所述宏像素图像阵列Y通道信息进行重新排列；
[0023]构建宏像素空间超分辨率网络，其中所述宏像素空间超分辨率网络为卷积神经网络；
[0024]通过所述宏像素空间超分辨率网络对所述宏像素图像阵列Y通道信息重新排列后的数据进行处理并进行像素重组，得到第二高角度分辨率子孔径图像阵列Y通道信息。
[0025]可选的，级联数据的获取过程包括：
[0026]对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联，
[0027]通过维度还原网络对级联后的数据进行维度还原，得到级联数据，其中维度还原网络为卷积神经网络，所述维度还原网络包括三个卷积层及两个激励层，所述级联数据为高角度分辨率光场图像阵列。
[0028]可选的，高角度分辨率子孔径图像阵列Y通道残差信息的获取过程包括：
[0029]构建纹理修复网络，所述纹理修复网络为3D卷积神经网络；
[0030]通过纹理修复网络对所述级联数据进行融合处理，得到高角度分辨率子孔径图像阵列Y通道残差信息，其中所述纹理修复网络包括三层卷积层以及两个ReLU激励层。
[0031]可选的，最终高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
[0032]对所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果进行相加，得到最终高角度分辨率子孔径图像阵列Y通道信息。
[0033]可选的，高角度超分辨率子孔径图像阵列的获取过程包括：
[0034]对所述子孔径图像阵列U通道信息及V通道信息进行双线性上采样处理，并将双线性上采样处理后的数据与所述最终高角度分辨率子孔径图像阵列Y通道信息进行合并，并将合并后的数据从YUV空间转换到RGB空间，得到高角度超分辨率子孔径图像阵列。
[0035]本专利技术具有如下技术效果：
[0036]本专利技术能够有效解决由于光场相机传感器分辨率的限制，使得获取的光场图像的空间分辨率和角度分辨率之间存在一种制约，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像，影响光场成像技术在多个图像处理应用中的效果的问题。本专利技术提出的方法可以通过稀疏的光场图像的子孔径图像重建高角度分辨率的光场图像，获取更稠密的光场图像子孔径图像，提高光场成像技术在多个图像处理应用中的效果。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合光场子孔径图像与宏像素图像的角度超分辨率方法，其特征在于，包括：获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。2.根据权利要求1所述方法，其特征在于：所述子孔径图像阵列Y通道信息的提取过程包括：通过光场相机拍摄获取初始图像，将所述初始图像的角度分辨率进行合并，然后将角度分辨率合并后的初始图像从RGB空间转换到YUV空间，在YUV空间中提取子孔径图像阵列Y通道信息。3.根据权利要求1所述方法，其特征在于：第一高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：构建子孔径角度超分辨率网络，其中所述子孔径角度超分辨率网络为卷积神经网络；通过所述子孔径角度超分辨率网络对所述子孔径图像阵列Y通道信息进行处理，获取粗高角度分辨率子孔径阵列图像；对所述粗高角度分辨率子孔径阵列图像进行空间图像几何变换得到第一高角度分辨率子孔径图像阵列Y通道信息。4.根据权利要求1所述方法，其特征在于：所述第二高角度分辨率子孔径图像阵列Y通道...

【专利技术属性】
技术研发人员：刘德阳，许娟，童在东，张友志，艾列富，郑馨，
申请(专利权)人：安庆师范大学，
类型：发明
国别省市：