一种基于网格变形和低阶近似的光场拼接方法及终端技术

本发明专利技术提供基于网格变形和低阶近似的光场拼接方法，包括：获得待拼接光场的深度图；根据所述深度图将中心子孔径图像分为前景、后景；提取特征点后，对左、右两光场的后景进行匹配；基于传统二维图像，拼合所述中心子孔径图像；使用控制点引导网络变形方法校准两个不同的光场到全景图上；用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。本发明专利技术使用控制点引导网格变形技术校准两个不同的光场到全景图上，并应用低秩近似直接采用传统的二维图割取代四维图割从而降低方法的时间复杂度。与其他的光场拼接算法相比具有更好的拼接质量、角度域一致性以及更低的时间复杂度。更低的时间复杂度。更低的时间复杂度。

【技术实现步骤摘要】
一种基于网格变形和低阶近似的光场拼接方法及终端


[0001]本专利技术涉及光场拼接
，具体地，涉及一种基于网格变形和低阶近似的光场拼接方法及终端。

技术介绍

[0002]光场成像是一种近年来快速发展的技术，比起传统成像，光场成像可以获得更丰富的场景信息。与传统摄影不同的是，传统相机仅仅是在空间中捕捉光的二维投影，而光场成像可以从各个方向收集光线的辐射，同时获取传统摄影中丢失的角度信息。一方面，这种更高维的数据表现为对场景分析的强大能力，大大提高了传统计算机视觉问题的性能；另一方面，光场的高维特性也给数据捕获、数据压缩、内容编辑以及光场拼接等处理带来了新的挑战。
[0003]目前光场成像受到视野的限制，例如商用Lytro Illum的视野水平方向仅为43.5
°
，垂直方向仅为62
°
。光场目前的一大潜在应用就是制作虚拟现实(VR)相关的视频，众所周知，VR视频要求360
°
的全景图，那么如果想把光场应用到VR相关领域，扩大光场相机的视野十分重要。扩大视野的方法之一是改进硬件，但这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网格变形和低阶近似的光场拼接方法，其特征在于，包括：获得待拼接光场的深度图；根据所述深度图将中心子孔径图像分为前景、后景；提取左右光场的特征点后，对左右两光场的后景进行匹配；利用所述特征点，基于传统二维图像的拼接方法，拼接所述光场的中心子孔径图像；确定拼合后的中心子孔径图像的控制点；基于所述控制点，使用控制点引导网络变形方法校准两个不同的光场；用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。2.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述左右光场的后景采用基于所述深度图的尺度不变特征变换特征点进行匹配，且仅在所述中心子孔径图像中深度小于阈值为T的点中进行特征点的匹配。3.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，选用自然图像拼接(NISwGSP)方法缝合所述中心子孔径图像。4.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述确定控制点，包括：将拼接中心子孔径图像后的全景图重新划分为等距网格，并将网格的节点作为控制点。5.根据权利要求4所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述确定控制点，包括：将两幅中心子孔径图像拼好后的全景图进行等距划分，获得网格节点，将其表示成{c
i，j
}；每个{c
i，j
}都在两幅中心子孔径图像的变形网格上；将所述变形网格标记为{g
i，j
}，其中i表示变形网格的索引编号，j用来区分两个光场；每个变形后的网格都能计算出一个单应性矩阵H
i，j
；左侧光场SAI和右侧光场SAI的控制点{p
u，v，i，j
}是由先前拼接完成的中心全景图中的网格顶点{c
i，j
}计算得到的；其中u
c
和v
c
分别为中心子孔径的角度域坐标。6.根据权利要求5所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述使用控制点引导网络变形方法校准两个不同的光场，包括：待拼接的其余SAI划分为均匀网格，网格的大小与预处理阶段NIWsGP中划分网格的大小一致；对...

【专利技术属性】
技术研发人员：安平，薛潮，陈亦雷，黄新彭，
申请(专利权)人：上海大学，
类型：发明
国别省市：