一种基于网格变形和低阶近似的光场拼接方法及终端技术

本发明专利技术提供基于网格变形和低阶近似的光场拼接方法，包括：获得待拼接光场的深度图；根据所述深度图将中心子孔径图像分为前景、后景；提取特征点后，对左、右两光场的后景进行匹配；基于传统二维图像，拼合所述中心子孔径图像；使用控制点引导网络变形方法校准两个不同的光场到全景图上；用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。本发明专利技术使用控制点引导网格变形技术校准两个不同的光场到全景图上，并应用低秩近似直接采用传统的二维图割取代四维图割从而降低方法的时间复杂度。与其他的光场拼接算法相比具有更好的拼接质量、角度域一致性以及更低的时间复杂度。更低的时间复杂度。更低的时间复杂度。

【技术实现步骤摘要】
一种基于网格变形和低阶近似的光场拼接方法及终端


[0001]本专利技术涉及光场拼接
，具体地，涉及一种基于网格变形和低阶近似的光场拼接方法及终端。

技术介绍

[0002]光场成像是一种近年来快速发展的技术，比起传统成像，光场成像可以获得更丰富的场景信息。与传统摄影不同的是，传统相机仅仅是在空间中捕捉光的二维投影，而光场成像可以从各个方向收集光线的辐射，同时获取传统摄影中丢失的角度信息。一方面，这种更高维的数据表现为对场景分析的强大能力，大大提高了传统计算机视觉问题的性能；另一方面，光场的高维特性也给数据捕获、数据压缩、内容编辑以及光场拼接等处理带来了新的挑战。
[0003]目前光场成像受到视野的限制，例如商用Lytro Illum的视野水平方向仅为43.5
°
，垂直方向仅为62
°
。光场目前的一大潜在应用就是制作虚拟现实(VR)相关的视频，众所周知，VR视频要求360
°
的全景图，那么如果想把光场应用到VR相关领域，扩大光场相机的视野十分重要。扩大视野的方法之一是改进硬件，但这种方法成本太高，很难推广，因此我们常常通过对多个不同视角的光场进行拼接来增加光场的视野。
[0004]现有的光场拼接方法可以分为两类：源自传统图像的二维拼接方法和专门用于光场拼接的四维方法。传统的拼接方法通常会估计整个图像的最佳全局变换，当相机平移可以忽略不计或场景接近平面时，可以获得视觉上可接受的拼接结果。然而，传统的拼接方法可能会给具有大视差的图像引入重影效应、错位和局部失真。而专用于光场的四维拼接方法往往因为在图割的过程中使用四维图割导致计算量增大。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于网格变形和低阶近似的光场拼接方法及终端。
[0006]根据本专利技术的一个方面，提供一种基于网格变形和低阶近似的光场拼接方法，包括：获得待拼接光场的深度图；
[0007]根据所述深度图将中心子孔径图像分为前景、后景；
[0008]提取特征点后，对左、右两光场的后景进行匹配；
[0009]基于传统二维图像，拼合所述中心子孔径图像；
[0010]确定拼合后的中心子孔径图像的控制点；
[0011]基于所述控制点，使用控制点引导网络变形方法校准两个不同的光场到全景图上；
[0012]用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。
[0013]优选地，所述左、右光场的后景采用基于所述深度图的尺度不变特征变换特征点
进行匹配，且仅在所述中心子孔径图像中深度小于阈值为T的点中进行特征点的匹配。
[0014]优选地，采用自然图像拼接(NISwGSP)缝合中心子孔径图像。
[0015]优选地，所述确定控制点，包括：将拼接中心子孔径图像后的全景图重新划分为等距网格，并将网格的结点作为控制点。
[0016]优选地，所述确定控制点，包括：
[0017]将两幅中心子孔径图像拼好后的全景图进行等距划分，获得网格结点，将其表示成{c
i，j
}；
[0018]每个{c
i，j
}都在两幅中心子孔径图像的变形网格上；
[0019]将所述变形网格标记为{g
i，j
}，其中i表示变形网格的索引编号，j用来区分两个光场；
[0020]每个变形后的网格都能计算出一个单应性矩阵H
i，j
；
[0021]左侧光SAI和右侧光场SAI的控制点{p
u，v，i，j
}是由先前拼接完成的中心全景图中的网格顶点{c
i，j
}计算得到的；
[0022][0023]其中u
c
和v
c
分别为中心子孔径的角度域坐标。
[0024]优选地，所述使用控制点引导网格变形方法校准两个不同的光场到全景图上，包括：
[0025]待拼接的其余SAI划分为均匀网格；
[0026]然后通过对应SAI上的控制点{p
u，v，i，j
}引导所述均匀网格进行变形。
[0027]优选地，所述能量函数包括视差项；所述视差项使得每个SAI的网格变形后能够保持中心子孔径上的视差并且符合正确的深度信息。
[0028]优选地，所述能量函数包括相似项；所述相似项将视差约束从重叠区域传播到非重叠区域。
[0029]优选地，所述用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合，包括：
[0030]将每个光场内所有的SAI校准到中心视点的位置；
[0031]利用光场低秩特性把校准后的光场以列向量的形式组合成矩阵；
[0032]将所述矩阵使用奇异值分解(SVD)或者正交三角分解(QR)分解，得到
[0033]I＝U
·
W
·
V＝B
·
C
[0034]由于光场的低秩特性，B的每一列被认为是中心子孔径图像的基图像；
[0035]使用先前在拼接中心子孔径图像时已经计算过的缝合线来缝合左右两个光场的B矩阵的每一列，记拼接后的B矩阵为B
s
，
[0036]I
s
＝B
s
·
C1[0037]其中I
s
为拼接后的光场，C1为左侧光场的C矩阵；
[0038]取出I
s
的每一列得到拼接后的完整光场的子孔径图像。
[0039]根据本专利技术的第二个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的方法。
[0040]与现有技术相比，本专利技术具有如下的有益效果：
[0041]本专利技术实施例提供的基于网格变形和低阶近似的光场拼接方法，通过控制点引导网格变形的方法，取得了良好的图像质量，其图像的根均方误差相关系数和(Sum of Root mean squared error，CRMSE)优于现有的其他技术；
[0042]本专利技术实施例提供的基于网格变形和低阶近似的光场拼接方法能有效保持光场的角度域连续性，可以通过观察拼接后光场的极平面图像(epipolar plane image)得到验证。
[0043]本专利技术实施例提供的基于网格变形和低阶近似的光场拼接方法，基于光场低秩复用中心子孔径缝合线的方法，只需要使用图割方法计算中心子孔径的缝合线，计算量显著减小，不涉及复杂费时的四维图割计算。
附图说明
[0044]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0045]图1为本专利技术一实施例的一种基于网格变形和低阶近似的光场拼接方法的流程图；
[0046]图2为本专利技术一优选实施例的控制点获取的示意图；...

【技术保护点】

【技术特征摘要】
1.一种基于网格变形和低阶近似的光场拼接方法，其特征在于，包括：获得待拼接光场的深度图；根据所述深度图将中心子孔径图像分为前景、后景；提取左右光场的特征点后，对左右两光场的后景进行匹配；利用所述特征点，基于传统二维图像的拼接方法，拼接所述光场的中心子孔径图像；确定拼合后的中心子孔径图像的控制点；基于所述控制点，使用控制点引导网络变形方法校准两个不同的光场；用光场的低秩特征，在不使用四维图割的前提下，寻找校准后光场的缝合线并进行融合。2.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述左右光场的后景采用基于所述深度图的尺度不变特征变换特征点进行匹配，且仅在所述中心子孔径图像中深度小于阈值为T的点中进行特征点的匹配。3.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，选用自然图像拼接(NISwGSP)方法缝合所述中心子孔径图像。4.根据权利要求1所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述确定控制点，包括：将拼接中心子孔径图像后的全景图重新划分为等距网格，并将网格的节点作为控制点。5.根据权利要求4所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述确定控制点，包括：将两幅中心子孔径图像拼好后的全景图进行等距划分，获得网格节点，将其表示成{c
i，j
}；每个{c
i，j
}都在两幅中心子孔径图像的变形网格上；将所述变形网格标记为{g
i，j
}，其中i表示变形网格的索引编号，j用来区分两个光场；每个变形后的网格都能计算出一个单应性矩阵H
i，j
；左侧光场SAI和右侧光场SAI的控制点{p
u，v，i，j
}是由先前拼接完成的中心全景图中的网格顶点{c
i，j
}计算得到的；其中u
c
和v
c
分别为中心子孔径的角度域坐标。6.根据权利要求5所述的一种基于网格变形和低阶近似的光场拼接方法，其特征在于，所述使用控制点引导网络变形方法校准两个不同的光场，包括：待拼接的其余SAI划分为均匀网格，网格的大小与预处理阶段NIWsGP中划分网格的大小一致；对...

【专利技术属性】
技术研发人员：安平，薛潮，陈亦雷，黄新彭，
申请(专利权)人：上海大学，
类型：发明
国别省市：