用于编码光场内容的方法技术

在一个实施例中，提出了一种用于编码光场内容的方法。所述方法的特征在于，其包括：对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图(Π(x1,x2),Π(y1,y2)中的点；对所述第一2D光线图(Π(x1,x2),Π(y1,y2)应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；将所述感兴趣线编码(2003)成编码感兴趣线；以及存储(2004)所述编码感兴趣线。

A method used to encode the content of light field

In one embodiment, a method for encoding light field content is proposed. The method is characterized in that it includes: for a group of light (401) associated with the content of the light field (401), the four coordinates of each light are obtained from the two plane parameterizations (2000; 402, 403) of the light field content; for each light from the set, the two coordinates are obtained from the four coordinates (2001), and they correspond to them. The light from the group is perpendicular to the projection on the plane (404, 405, P) used in the two plane parameterization of the two plane parameterizations, and defines the points in the first 2D ray (x1, x2), Y1 (Y1, Y2); the first 2D ray diagram (x1, x2), (Y1, Y2) application (2002) discrete La Tung transform, which delivers the first 2D ray diagram. The line of interest in (2004) is encoded into a coded line of interest (2003), and the coded line of interest (2004) is stored.

【技术实现步骤摘要】
【国外来华专利技术】用于编码光场内容的方法
本公开涉及计算成像、光场采集装置和全光相机的领域。更确切地说，本公开涉及可以用于光场数据的传输、绘制、处理、混合的光场的表示格式。
技术介绍
该部分旨在向读者介绍可能与以下描述和/或要求保护的本专利技术的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本专利技术的各个方面。因此，应当理解的是，这些陈述应当就此而言被理解，而不是对现有技术的承认。可以视为4D光场的采样(即，光线的记录，如以下文章的图1中所解释的：“Understandingcameratrade-offsthroughaBayesiananalysisoflightfieldprojections”，AnatLevin等人，在ECCV2008的会议记录中发表)的4D光场数据的采集是热门的研究课题。事实上，与从相机获得的经典2D图像相比，4D光场数据使用户能够访问更多的后处理特征，所述特征增强了图像的绘制和/或与用户的交互性。例如，使用4D光场数据，可能容易地后验执行图像的重新聚焦(即，用自由选择的聚焦距离重新聚焦，意味着可以后验指定/选择焦平面的位置)，以及稍微改变图像的场景中的视点。为了采集4D光场数据，可以使用几种技术。例如，如文献WO2013/180192或文献GB2488905中所述的全光相机能够采集4D光场数据。在本文献的图1和2中提供了全光相机的架构的细节。采集4D光场数据的另一种方式是使用本文献的图3中所示的相机阵列。在图3中提供了相机阵列的架构的细节。最后，采集4D光场的另一种方式是使用传统相机，其配置成在不同焦平面处捕捉相同场景的2D图像的序列。例如，在以下文献中描述的技术可以用于实现4D光场数据的采集：“Lightrayfieldcaptureusingfocalplanesweepinganditsopticalreconstructionusing3Ddisplays”，J.-H.Park等人，在OPTICSEXPRESS中发表，第22卷，第21号，2014年10月。在下文中仅描述全光相机和相机阵列，但是应当注意的是，本公开也可以应用于采集4D光场数据的其他装置，如包括编码光圈元件的装置，如文献US2010/0265386，或A.Levin等人在SIGGRAPH2007的论文集中发表的题为“Imageanddepthfromaconventionalcamerawithacodedaperture”的文章中所述，或使用波阵面编码技术的装置，如EdwardR.Dowski，Jr.和W.ThomasCathe于1995年4月10日在AppliedOptics中发表的题为“Extendeddepthoffieldthroughwave-frontcoding”的文章中所述。在现有技术中，有几种方法来表示(或定义)4D光场数据。事实上，在RenNg于2006年7月发表的题为“DigitalLightFieldPhotography”的博士论文的3.3章中，描述了表示4D光场数据的三种不同方式。首先，当由例如图1中所示的全光相机记录时，4D光场数据可以由微透镜图像的收集表示(参见本文献中的图2的描述)。该表示中的4D光场数据称为原始图像(或原始4D光场数据)。其次，当由全光相机或由相机阵列记录时，4D光场数据可以由子光圈图像的集合表示。子光圈图像对应于从视点捕捉的场景的图像，该视点在两个子光圈图像之间略微不同。这些子光圈图像提供关于成像场景的视差和深度的信息。第三，4D光场数据可以由极线图像的集合表示(例如参见文章：题为“GeneratingEPIRepresentationofa4DLightFieldswithaSingleLensFocusedPlenopticCamera”，S.Wanner等人，在ISVC2011的会议记录中发表)。然而，由于全光装置非常不均匀(例如，我们可以区分类型1或2的全光装置(其定义微透镜的特定光学布置(例如具有不同焦距的微透镜等)))，并且相机阵列具有不同的风格，因此看起来所有这些光场采集装置都具有其专有的文件格式，使得除了常规的2D或3D成像之外，光场技术不能存在，原因是没有支持采集和传输多维信息的标准。例如，在将4D光场数据表示为原始4D光场数据的情况下，为了处理原始4D光场数据，需要诸如微透镜的尺寸等的一些附加信息，并且目前还没有列出所有需要的附加信息的标准。然而，应当注意的是，如前所述的4D光场数据也可以由参数化处理导出的值表示，如以下详述：题为“LightFieldAnalysisforModelingImageFormation”的文章的名为“LightFieldRepresentation”的章节A第III段，Chi-KaiLiang等人，在IEEETransactionsonImageProcessing中发表，第20卷，第2期，2011年2月，或题为“LightFieldRendering”的文章，MarLevoy和PatHanrahan，或文献US8,237,708，US6,097,394或US6,023,523。因此，4D光场数据可以表示为坐标系中的点(与光线关联)的集合(参见文献WO2013/180192的第[0028]至[0030]段)。更确切地说，为了表示4D光场数据，通过使用两个平面(平行或不平行)来使用4D光场的参数化(即，每个光线由对应于这样的光线与两个平面的交点的坐标值的集合表示)可以是避免使用专有格式并且促进4D光场装置(即，例如全光装置和/或相机阵列，但也用于4D光场显示装置，如由D.Lanman和D.Luebke在2013年7月在SIGGRAPH2013会议上发表的题为“Near-EyeLightFieldDisplays”的文章中所述的装置)之间的互操作性的一种方式。事实上，代替与复杂的交叉结构共享RAW信息，似乎更好的是共享已捕获的光线的表示，以及其所有规约。然后，可以独立于采集数据的方式处理，共享，传输和绘制数据。应当注意的是，参数化的光场在先前提到的题为“LightFieldRendering”的文章中也被称为光板表示。然而，该4D光场表示的一个缺点是待存储的内容是巨大的，如本文献第23页所述。事实上，使用这样的表示意味着为每个参数化光线存储两个平面中的坐标(即，有必要存储4-uplet和这样的光线的辐射亮度值)。例如在文献US6,023,523中描绘了将2D图像的集合(定义采样光场)转换为光线表示(每个光线与4-uplet和辐射亮度值关联)的过程。因此，需要提供一种技术，用于在其克服先前提到的存储问题的意义上提供紧凑的光场表示。
技术实现思路
在说明书中对“一个实施例”，“实施例”，“示例性实施例”的引用指示所描述的实施例可以包括特定特征，结构或特性，但是每个实施例可能不一定包括特定特征，结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征，结构或特性时，认为结合无论是否明确描述的其它实施例实现这样的特征，结构或特性是在本领域技术人员的知识范围内。本公开涉及一种用于编码光场内容的方法。所述方法的特征在于，其包括：-对于与所述光场内容关联的光线的组，从本文档来自技高网...

【技术保护点】
1.一种用于编码光场内容的方法，所述方法的特征在于，其包括：‑对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；‑对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图(Π(x1，x2)，Π(y1，y2)中的点；‑对所述第一2D光线图(Π(x1，x2)，Π(y1，y2)应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；‑将所述感兴趣线编码(2003)成编码感兴趣线；以及‑存储(2004)所述编码感兴趣线。

【技术特征摘要】
【国外来华专利技术】2015.09.17 EP 15306437.3;2015.09.17 EP 15306439.9;1.一种用于编码光场内容的方法，所述方法的特征在于，其包括：-对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；-对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图(Π(x1，x2)，Π(y1，y2)中的点；-对所述第一2D光线图(Π(x1，x2)，Π(y1，y2)应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；-将所述感兴趣线编码(2003)成编码感兴趣线；以及-存储(2004)所述编码感兴趣线。2.根据权利要求1所述的用于编码光场内容的方法，其中所述编码(2003)所述感兴趣线还包括应用Bresenham算法。3.根据权利要求1至2中任一项所述的用于编码光场内容的方法，其中在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，是包括矩形元素(Δx1，Δy1；Δx2，Δy2)的离散化平面(275、276)，其中所述第一平面中的矩形元素的长边的最大值等于其中zf是包括在具有像素间距p的相机装置中的传感器阵列的深度值，f是所述相机装置的焦距，并且z1是与所述第一平面关联的第一深度值，并且其中所述第二平面中的矩形元素的长边的最大值等于其中z2是与所述第二平面关联的第二深度值。4.根据权利要求1至3中任一项所述的用于编码光场内容的方法，其中所述存储(2004)包括，对于属于所述第一2D光线图中的第一编码感兴趣线的至少一个第一点-存储与属于第二2D光线图(Π(x1，x2)，Π(y1，y2))中的第二编码感兴趣线的至少一个第二点((y1，y2)；(x1，x2))关联的光线的辐射亮度，所述第二编码感兴趣线具有与所述第一编码感兴趣线相同的斜率，并且存储指示光线存在的第一附加信息；和/或-存储指示没有光线与属于所述第二编码感兴趣线的至少一个第三点((y1，y2)；(x1，x2))关联的第二附加信息。5.根据权利要求4所述的用于编码光场内容的方法，其中所述第一附加信息和/或所述第二附加信息是位，并且其中光线的所述辐射亮度由三字节值编码。6.根据权利要求1至5中任一项所述的用于编码光场内容的方法，其中其还包括估计至少一个投影中心的坐标和与所述至少一个投影中心关联的半径，所述估计包括：-获得所述第一2D光线图中的感兴趣线的至少一个斜率参数m和厚度参数所述感兴趣线与投影中心x3，y3，z3和半径A关联；-从所述至少一个斜率参数m和所述厚度参数估计所述投影中心的坐标x3，y3，z3和所述半径A。7.根据权利要求6所述的用于编码光场内容的方法，其中在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，分别与第一深度值z1和第二深度值z2关联，并且其中所述估计包括获得其中并且8.根据权利要求1至7中任一项所述的用于...

【专利技术属性】
技术研发人员：M塞费，V德拉齐克，A舒伯特，O布雷勒，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR