使用至少一个光场相机来创建一对立体图像的方法和装置制造方法及图纸

用于使用至少一个光场相机(1)来创建一对立体图像的方法，包括：接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取(S3)由所述光场相机(1)基于所捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；通过比较用于左视图(41)的所需相机参数与各个子光圈图像的实际相机参数来确定(S5)左视图的最佳匹配子光圈图像(L4)；通过比较用于右视图(42)的所需相机参数与各个子光圈图像的实际相机参数来确定(S5)右视图的最佳匹配子光圈图像(R4)；以及将左视图的最佳匹配子光圈图像(L4)与右视图的最佳匹配子光圈图像(R4)关联(S6)为一对立体图像。

Method and device for creating a pair of stereo images using at least one optical field camera

A method for creating a pair of stereoscopic images using at least one light field camera (1), including receiving the required camera parameters for the left view (41) and the right view (42), in which the required camera parameters define the theoretical stereoscopic image pair; and obtain (S3) each sub light generated by the light field camera (1) based on the captured image. The actual camera parameters of the circle image (411, 421; 400); determine the best matching sub aperture image (L4) of the left view by comparing the required camera parameters for the left view (41) and the actual camera parameters of each sub aperture image; by comparing the required camera parameters for the right view (42) and the reality of each sub aperture image by comparing it to the right view (42). The best matching sub aperture image (R4) of the right view (S5) is determined by the camera parameters; and the best matching sub aperture image (L4) of the left view is associated with the best matching sub aperture image (R4) of the right view (S6) as a pair of stereoscopic images.

【技术实现步骤摘要】
使用至少一个光场相机来创建一对立体图像的方法和装置
本公开总体上涉及成像领域，且更具体地涉及使用全光(plenoptic)相机的光场成像技术。
技术介绍
本节意在向读者介绍可能与下文所述的和/或所要求保护的本公开各个方面相关的各技术方面。相信该讨论有助于向读者提供背景信息以便帮助更好地理解本公开的各个方面。因此，应当理解：这些陈述应按这种方式解读，而不是作为对现有技术的承认。在立体(或多视图)成像的框架中，需要在支持3D的屏幕上创建、处理和再现立体(或多视图)视频内容。对立体视频内容的处理允许对3D信息的创建或增强(例如，视差估计)。其还允许使用3D信息来增强2D图像(例如，视图插值)。一般地，立体视频内容是根据捕获的两个(或更多个)2D视频来创建的。2D视频是具有帧的时间序列的经典意义下的视频，每个帧是由像素行构成的经典2D图像。每个像素具有由颜色空间中的颜色坐标来定义的颜色。一般地，立体成像是多视图成像，其中，捕获来自场景的多于两个2D视频。立体成像还可以是以合成方式根据3D模型和计算机图形来生成的。这样，可以创建动画，得到立体图像和具有多视图的其他相关图像。图1示出了用于创建多视图的传统过程。示出了若干传统2D相机22，其被固定到用于创建原始图像视图33的云台(rig)输出。在一个实施例中，相机校准模块44执行相机校准。该校准基于所捕获的图像视图33提供了对外部和内部相机参数的估计。随后，视图生成器模块55生成经校准的视图66。每个相机是由外部和内部参数来定义的。外部参数以世界坐标系来表达，并定义了相机的位置和定向(orientation)。外部参数包括3D旋转矩阵R和3D平移向量t。内部相机参数包括焦距f和主点在像平面中的坐标px、py。例如，对于针孔相机，根据以下公式将齐次场景世界坐标下的点X＝(XYZ1)T投影到像位置x＝(xy)T：x＝PX且P是根据以下公式的相机矩阵：P＝K[R|Rt]且R是3x3旋转矩阵，t是3D平移向量以及且K是根据以下公式定义的相机校准矩阵：具有2个参数或者具有3个参数，或者具有4个参数。可以例如使用用于校准的对象来执行相机校准，该用于校准的对象具有在齐次场景世界坐标下的位置(fX，ifY，ifZ，i1)T处的已知特征点，且其投影到像平面中具有齐次坐标(fx，ify，i1)T的位置处。相机参数可以根据由RichardHartley和AndrewZissermann在他们的于2004年3月24日在剑桥出版社出版的题为“Multipleviewgeometryincomputervision”的书中描述的方法来估计。多视图成像中的已知处理的下一步是视图修正。修正是用于将立体云台上的相机所拍摄的视图(两个或更多个视图)变换为校正过几何形状的视图的必要步骤。通过执行对视图的修正，校正视图的几何形状使得每个视图好像是由具有相同像平面的相机来拍摄的。然而存在对修正的一些限制。例如，在不旋转视图的情况下不能容易地校正垂直视差，这在大多数情况下是不能被接受的。在例如相机的光学中心并未水平对准(即，具有不同的垂直位置)的情况下，出现垂直视差。由例如SimonReeve等人在他的作为2010年来自BskyB的白皮书的报告“BasePrinciplesofstereoscopic3D”中解释了与垂直视差有关的该问题。垂直视差是由在垂直方向上不具有相同位置或查看方向的相机引起的。即使立体相机的云台经过机械校准，也经常保留残余的垂直错位(misalignment)。垂直错位在查看立体内容时产生了问题。
技术实现思路
根据本原理，一种用于使用至少一个光场相机来创建一对立体图像的方法，所述方法包括：获取用于左视图和右视图的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取基于由所述光场相机捕获的图像生成的各个子光圈图像的各个实际相机参数；通过比较用于所述左视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述左视图的最佳匹配子光圈图像，并通过比较用于所述右视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述右视图的最佳匹配子光圈图像；以及将所述左视图的最佳匹配子光圈图像与所述右视图的最佳匹配子光圈图像关联为立体对图像。本原理还涉及用于创建立体对图像的设备，所述设备执行：获取用于左视图和右视图的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取基于由光场相机捕获的图像生成的各个子光圈图像的各个实际相机参数；通过比较用于所述左视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述左视图的最佳匹配子光圈图像，并通过比较用于所述右视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述右视图的最佳匹配子光圈图像；以及将所述左视图的最佳匹配子光圈图像与所述右视图的最佳匹配子光圈图像关联为立体对图像。附图说明图1示出了现有技术中多视图成像的处理；图2示出了根据本公开实施例的光场相机的配置；图3A示出了根据本公开实施例的在所捕获的光场图像和子光圈图像序列之间的转换；图3B示出了根据本公开实施例的在所捕获的光场图像和子光圈图像序列之间的转换；图4示出了根据本公开实施例的设备的高层功能框图；图5示出了根据本公开实施例的设备的硬件配置的框图；图6示出了根据本公开实施例的包括旋转矩阵R参数和平移向量t参数在内的所需相机参数的示例；图7示出了根据本公开实施例的基于所需相机参数和实际相机参数之间的比较对子光圈图像的关联；图8示出了根据本公开实施例的用于执行计算实际相机参数和关联子光圈图像的步骤的流程图图示；图9示出了根据本公开实施例的用于对左视图的剩余子光圈图像与右视图的剩余子光圈图像进行关联的流程图图示；图10示出了根据本公开实施例的在使用2个光场相机的情况下左视图的剩余子光圈图像与右视图的剩余子光圈图像的关联；图11示出了根据本公开实施例的在使用单个光场相机来创建立体对时关联子光圈图像的示例实施例；图12示出了根据本公开实施例的在使用单个光场相机时将子光圈图像分类为不同类别的示例实施例；以及图13示出了根据本公开实施例的使用单个光场相机对子光圈图像进行分类的流程图图示。具体实施方式在本公开的一个实施例中，提供了一种用于创建一对立体图像以克服与现有技术相关联的一些校准问题的方法，特别是当由一个或多个全光相机(在下文中也可被互换地称为光场相机)来创建多视图时。光场相机传统上输出针对特定查看方向的具有不同子光圈图像的序列。在校准步骤中，估计与子光圈图像有关的各个相机参数(下文中，该参数被称为“实际相机参数”)。此后，将实际相机参数与呈现出针对立体图像对的理想值的理论所需相机参数(下文中，该参数被称为“所需相机参数”)进行比较。定义了针对立体图像对的理想或理论值的这些所需相机参数还包括内部和/或外部相机参数。所需相机参数可以是标准化组织内通过桌边的理论讨论来准备的，或者可以是用于(例如，在相机的生产线上)参考立体相机的平均化参数。所需相机参数描述了为了创建一对立体图像而预期什么类型的相机。例如，在立体成像系统中，所需相机参数可以包括相机之间的特定距离、平行查看、特定焦距和在图像中心的主点。所需相机参数的值可以依据对立体对图像的要求(例如视差和某些其他不同要求本文档来自技高网...

【技术保护点】
1.一种用于使用至少一个光场相机(1)来创建一对立体图像的方法，包括：接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取(S3)(S4)基于由所述光场相机(1)捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；通过比较用于所述左视图(41)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述左视图的最佳匹配子光圈图像(L4)，并通过比较用于所述右视图(42)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述右视图的最佳匹配子光圈图像(R4)；以及将所述左视图的最佳匹配子光圈图像(L4)与所述右视图的最佳匹配子光圈图像(R4)关联(S6)为一对立体图像。

【技术特征摘要】
2016.06.23 EP 16305760.71.一种用于使用至少一个光场相机(1)来创建一对立体图像的方法，包括：接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取(S3)(S4)基于由所述光场相机(1)捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；通过比较用于所述左视图(41)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述左视图的最佳匹配子光圈图像(L4)，并通过比较用于所述右视图(42)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述右视图的最佳匹配子光圈图像(R4)；以及将所述左视图的最佳匹配子光圈图像(L4)与所述右视图的最佳匹配子光圈图像(R4)关联(S6)为一对立体图像。2.根据权利要求1所述的方法，其中，所述子光圈图像(411、421；400)的实际相机参数是通过以下方式来估计的：接收(S1)由所述光场相机(1)捕获的图像中的场景内的对象(2)的图像并获取(S1)所述对象(2)的各个特征点的场景世界坐标；根据所接收的所述对象(2)的图像来生成(S2)多个子光圈图像(411、421；400)；基于所述对象的各个特征点的场景世界坐标和各个特征点的场景世界坐标在子光圈图像中的对应像素坐标来估计(S2)所述实际相机参数。3.根据权利要求1所述的方法，其中，所述实际相机参数和所需相机参数分别包括旋转矩阵R和平移向量t。4.根据权利要求1所述的方法，其中，所确定的左视图的最佳匹配子光圈图像(L4)的实际相机参数具有最接近左视图(41)的所需相机参数的值，且所确定的右视图的最佳匹配子光圈图像(R4)的实际相机参数具有最接近右视图(42)的所需相机参数的值。5.根据权利要求1所述的方法，其中，所述光场相机(1)包括用于左视图的光场相机(1L)和用于右视图的光场相机(1R)，所述确定还包括：通过比较用于左视图(41)的所需相机参数和基于由用于左视图的光场相机(1L)捕获的图像生成的各个子光圈图像的各个实际相机参数来确定(S5)左视图的最佳匹配子光圈图像(L4)；以及通过比较用于右视图(42)的所需相机参数和基于由用于右视图的光场相机(1R)捕获的图像生成的各个子光圈图像的各个实际相机参数来确定(S5)右视图的最佳匹配子光圈图像(R4)。6.根据权利要求4所述的方法，所述关联还包括：计算(S11)转移矩阵DLrem，所述转移矩阵DLrem能够将左视图的剩余子光圈图像(RM411)的实际相机参数转移为左视图的最佳匹配子光圈图像(L4)的实际相机参数，其中，DLrem是针对左视图的各个子光圈图像(411)计算的；计算(S12)转移矩阵DRrem，所述转移矩阵DRrem能够将右视图的剩余子光圈图像(RM421)的实际相机参数转移为右视图的最佳匹配子光圈图像(R4)的实际相机参数，其中，DRrem是针对右视图的各个子光圈图像(421)计算的；以及将左视图的剩余子光圈图像(RM411)关联(S14)到右视图的具有最接近DLrem的值...

【专利技术属性】
技术研发人员：尤尔根·施陶德尔，贝诺特·范达姆，塞德里克·泰博，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR