【技术实现步骤摘要】
本专利技术涉及图像处理以及虚拟现实(vr)领域，尤其涉及一种新的光场图像超分辨率方法，可有效提高光场图像的空间分辨率以及细节还原能力，可用于光场图像和光场视频。
技术介绍
1、光场图像是一种能够记录和表达三维场景信息的图像格式。光场图像可以通过捕捉场景中各个位置的光线方向、强度和颜色等信息，从而实现对场景的深度感知和视角变换等功能。这种特殊类型的图像数据，不仅包含了二维图像的颜色和亮度信息，还记录了光线在三维空间中的方向和强度信息。在光场图像中，存在几种常见的表现方式，包括sai(子孔径图像)、epi(极线平面图像)和macpi(宏像素图像)：
2、1)sai(sub-aperture image)：sai是光场图像的一种表现方式，它是通过在光场传感器上选择特定的子孔径(即相机镜头上的小孔径)来获取的图像。每个sai表示了从不同方向和角度观察场景时的视角。sai可以用于产生3d效果、景深调整以及视点改变等应用；
3、2)epi(epipolar plane image)：epi是在光场图像中的另一种表现方式，它是通过将光场图像中的一条像素行投影到一个平面上得到的图像。这个平面被称为极线平面，它与相机的光心和观察平面垂直。epi可以用于光流估计、深度估计和物体分割等计算机视觉任务；
4、3)macpi(macro-pixel image)：macpi是将光场图像中的像素进行聚合得到的图像。在光场图像中，每个像素都包含了多个子孔径的信息，而macpi将这些信息进行合并，生成具有更高分辨率和更丰富细
5、这三种表现方式在光场图像处理和计算摄影学中都分别扮演着重要的角色，它们提供了对光场数据进行分析、处理和应用的基础。现有的光场图像处理方法中，常用的超分辨率方法主要针对传统二维图像。这些方法通常基于插值或重建技术，通过利用图像内部的统计特征来增加图像的分辨率。然而，这些方法在处理光场图像时存在困难，因为光场图像包含了更多的维度和复杂的光学信息。
技术实现思路
1、本专利技术提供一种新的光场图像超分辨率方法，旨在提高光场图像的分辨率和细节还原能力。该方法可以有效处理光场图像的高维度和光学信息，同时利用光场图像中存在的细微的运动信息，从而实现更好的超分辨率效果。
2、本专利技术提供的技术方案如下：
3、本专利技术提出了一种基于macpi形式的光场图像中存在的运动信息的光场图像超分辨率方法。该方法包括如下步骤：
4、(1)首先对光场图像进行解耦。通过macpi光场图像形式的特殊排列规律，将光场图像解耦成sai格式的光场图像，以便获得不同视角间存在的细微差异以及高维度的光学信息。
5、(2)通过这些不同方向或位置的子孔径图像(sai)，我们可以观察到光场图像采集过程中不同视角所存在的微小视差信息。利用解耦后的不同视角子孔径图像，我们利用运动估计(motion estimation)算法提取其中的微小运动信息，以获取存在于不同子孔径图像间的运动信息-光流(optical flow)。
6、(3)利用获取到的光流信息，我们对原始图像进行运动补偿(motioncompensation)，通过经过运动补偿的图像，相较于原图，可以获得更准确的细节信息，例如遮挡和伪影等。
7、(4)在进行运动估计和运动补偿过程中，同时对原光场图像进行特征提取。为此，本专利中引入了一种分解核(decomposition kernel)结构，用于解耦光场图像中的空间和角度信息。通过深度学习方法，对输入的光场图像的空间和角度信息进行建模，以便后续的特征融合和特征重建操作。
8、(5)然后将通过分解核获得的光场图像的深度特征信息与经过运动补偿后的新特征信息进行融合，并对融合特征信息进行更深层次的特征提取，得到包含更高维度的光学信息和特征纹理的张量。
9、(6)最后，使用像素重排列(pixel shuffle)方法对特征信息进行上采样，即可获得超分辨率后大小的特征图，最后使用卷积神经网络对最终的特征信息进行特征重建，得到超分辨率后的光场图像。
10、本专利技术的光场图像超分辨率方法基于先进的图像处理算法和光场图像的特点，通过对光场图像的光线方向、强度和颜色等信息进行分析和优化，并从中感知出细微的运动信息，从而恢复出更高分辨率的图像，并提升细节还原能力。同时，该方法考虑了光场图像的复杂光学特性，能够更好地处理光线的折射、反射和散射等现象，提高图像的真实感和逼真度。
11、通过本专利技术的光场图像超分辨率方法，可以在保持光场图像丰富的深度感知和视角变换功能的同时，提供更高的图像清晰度和细节还原能力。这对于虚拟现实、增强现实和三维重建等领域具有重要的应用价值。
本文档来自技高网...【技术保护点】
1.一种基于运动信息的光场图像超分辨率方法，其特征在于，包括如下步骤：
2.如权利要求1所述的光场图像超分辨率方法，其特征在于步骤2)中所设计的利不同子孔径图像之间执行运动估计的方法。
3.如权利要求1所述的光场图像超分辨率方法，其特征在于步骤3)中所设计的将不同子孔径图像之间的运动信息再次用以对原始子孔径图像执行运动补偿的方法。
4.如权利要求1所述的光场图像超分辨率方法，其特征在于步骤4)中在进行运动信息提取的过程同时，对原有光场图像的空间-角度信息分解操作，设计的分解核中包括对空间特征以及对角度特征的交替提取，还涉及到严格的数据维度转换和信息融合等操作，同时选用的特征提取网络、损失函数以及模型包括其相应的调参则视具体情况而定。
【技术特征摘要】
1.一种基于运动信息的光场图像超分辨率方法，其特征在于，包括如下步骤：
2.如权利要求1所述的光场图像超分辨率方法，其特征在于步骤2)中所设计的利不同子孔径图像之间执行运动估计的方法。
3.如权利要求1所述的光场图像超分辨率方法，其特征在于步骤3)中所设计的将不同子孔径图像之间的运动信息再次用以对原始子孔径图像执...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。