用于生成表示像素束的数据的方法和装置制造方法及图纸

市场上有若干类型的全光设备和相机阵列，并且所有这些光场获取设备有它们的专有文件格式。但是，没有支持多维信息的获取和传输的标准。感兴趣是获得与所述光学获取系统的传感器的像素与所述光学获取系统的物体空间之间的对应性有关的信息。实际上，知道属于所述光学获取系统的传感器的像素正在感测光学获取系统的物体空间的哪个部分使得能够改进信号处理操作。由此引入像素束的概念，其与用于存储这样的信息的紧凑格式一起表示由相机的光学系统的物体空间中的一组光线占据的体积。

【技术实现步骤摘要】
【国外来华专利技术】用于生成表示像素束的数据的方法和装置
本专利技术在于计算领域。更具体地，本专利技术涉及可以用于光场数据的传输、呈现和处理的表示格式。
技术介绍
光场表示沿着每个可能方向通过三维(3D)空间的每个点的光量。通过将表示辐射的七个变量的函数建模为时间、波长、位置和方向的函数。在计算机图形学中，对光场的支持被减少为四维(4D)取向线空间。由AnatLevin等人在ECCV2008的会议论文集中发表的文章“Understandingcameratrade-offsthroughaBayesiananalysisoflightfieldprojections”中解释可以被视为4D光场的采样(即光线的记录)的4D光场数据的采集，是热门研究课题。与从传统相机获得的典型二维或2D图像相比，4D光场数据使得用户能够访问更多的增强图像的呈现和与用户的交互性的后处理特征。例如，对于4D光场数据，能够使用自由选择的聚焦距离执行图像的重新聚焦，这意味着焦平面的位置可以被后验地指定/选择，以及稍微改变图像的场景中的视点。为了获取4D光场数据，可以使用若干技术。例如，全光相机能够获取4D光场数据。图1A中提供全光相机的架构的细节。图1A是示意性表示全光相机100的图。全光相机100包括主透镜101，包括布置成二维阵列的多个微透镜103的微透镜阵列102和图像传感器104。获取4D光场数据的另一方式是使用图1B中描绘的相机阵列。图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。在如图1A所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的对象(图中未示出)的光，并使光通过主透镜101的图像场。最后，获取4D光场的另一方式是使用配置成在不同焦平面上捕捉同一场景的2D图像序列的传统相机。例如，J.-H.Park等人发表于OPTICSEXPRESS，卷22，第21号，2014年10月的文献“Lightrayfieldcaptureusingfocalplanesweepinganditsopticalreconstructionusing3Ddisplays”中描述的技术，可以用于实现借助传统相机获取4D光场数据。存在表示4D光场数据的若干方式。事实上，在RenNg在2006年7月发表的题为“DigitalLightFieldPhotography”的博士学位论文的3.3章中，描述表示4D光场数据的三种不同方式。首先，当由全光相机通过采集微透镜图像来记录时，可以表示4D光场数据。该表示中的4D光场数据被称为原始图像或原始4D光场数据。其次，当由全光相机或相机阵列通过一组子孔径图像记录时，可以表示4D光场数据。子孔径图像对应于来自视点的场景的捕获图像，该视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，可以通过一组核线(epipolar)图像表示4D光场数据，例如参见S.Wanner等人发表在ISVC2011的会议论文集中的标题为“GeneratingEPIRepresentationofa4DLightFieldswithaSingleLensFocusedPlenopticCamera”的文章。光场数据可能占用达到若干兆兆字节(TB)大量的贮存空间，这能够使得存储繁琐且处理效率更低。此外，光场获取设备是极其异构的。光场相机有不同类型，例如全光或相机阵列。在每个类型中都存在许多差异，诸如不同光学布置或不同焦距的微透镜，尤其是，每个相机有其自身的专有文件格式。目前，针对光场依赖的不同参数的穷尽性概述，没有支持多维信息的获取和传输的标准。如此，用于不同相机的获取的光场数据具有多种格式。考虑到前述内容已经设计出本专利技术。
技术实现思路
根据本专利技术的第一方面，提供一种用于生成表示一组光线在光学获取系统的物体空间中占据的体积的一组数据的计算机实现的方法，所述光学获取系统的传感器的至少一个像素可以感测该组光线通过所述光学获取系统的光瞳，所述体积称为像素束，该方法包括：-计算被称为第一生成射线的用于描述表示像素束的单页双曲面的表面的第一直线围绕作为双曲面的回转轴的第二直线的第一旋转角度，所述旋转将第一生成射线变换到与参考直线交叉的第二生成射线，-计算被称为第三生成射线的用于描述双曲面的表面的第三直线围绕双曲面的回转轴的第二旋转角度，所述旋转将第三生成射线变换为与参考直线交叉的第四生成射线，-计算第二或者第四生成射线之一和双曲面的回转轴之间的距离，-生成包括表示第二生成射线的参数、表示第四生成射线的参数和第二或者第四生成射线之一和双曲面的回转轴之间的距离的表示像素束的一组数据。像素束被定义为当传播通过光学获取系统的光学系统时到达光学获取系统的传感器的给定像素的光线束。像素束由单页双曲面表示。单页双曲面是直纹面(ruledsurface)，其支持光线束的概念并且与物理光束的“光学扩展量”的概念相兼容。“光学扩展量”是表征光如何以面积和角度“扩展”的光学系统中的光的性质。从源的观点，“光学扩展量”是源的面积和从源所见的光学系统的入射光瞳对向(subtend)的立体角的乘积。等效地，从光学系统观点，“光学扩展量”等于入射光瞳的面积乘以从光瞳看见的源对向的立体角的乘积。“光学扩展量”的一个区别特征是其决不在任何光学系统中减少。“光学扩展量”涉及拉格朗日不变量和光学不变量，其共有理想光学系统中的恒定的性质。光学系统的辐射等于关于“光学扩展量”的辐射通量的导数。使用像素束表示4D光场数据是有利的，这是因为像素束按照涉及“光学扩展量”的信息传递。4D光场数据可以由像素束的集合表示，由于像素束可以由六个到十个参数表示，其可能占据大量贮存空间。由本专利技术的专利技术人开发的4D光场数据的紧凑表示格式依赖于全光函数的基于射线的表示。该紧凑表示格式要求射线以不随机的方式分类(sort)。事实上，由于射线沿着线映射，在紧凑性方面，以以下方式进行存储是高效的：与属于给定线的射线的集合一起按顺序存储所述给定线的参数，即相关斜率和截距、然后下一线等。像素束可以由两个称为生成射线的射线来表示，以描述表示像素束的双曲面的表面。生成射线可能在通过光学获取系统的微透镜时遭受强烈偏移，并由此以更大孔径角度撞击光学获取系统的主透镜。类似失真的像差可能由此干扰生成射线的集合，使得紧凑表示格式的使用效率更低。根据本专利技术的实施例的方法在于分类定义像素束的集合的像素束的各对生成射线，以减少位置和取向的随机性，以使得紧凑表示格式的使用更高效。而且，根据本专利技术的实施例的方法以这样的方式约束定义像素束的集合的像素束的各对生成射线：表示像素束的参数之一变得隐含地使得能够将表示所述像素束的数据组的维度减少一维，由此对紧凑表示格式的紧凑性有贡献。根据本专利技术的另一个方面，参考直线平行于光学获取系统的主透镜的光轴。令人感兴趣的是，由于主透镜的光轴是光学获取系统的对称轴，选择平行于主透镜的光轴的参考直线。根据本专利技术的另一方面，所述参考直线平行于光学获取系统的透镜阵列的中心轴。令人感兴趣的是，因为透镜阵列的光学轴是光学获取系统的对称轴，选择平行于透镜阵列的光学轴的参考直线。根据本专利技术的另一方面，分别计算第一和第二旋转角度在于：-通过将分别定义本文档来自技高网...

【技术保护点】
1.一种用于生成表示一组光线在光学获取系统的物体空间中占据的体积的一组数据的计算机实现的方法，该组光线通过所述光学获取系统的光瞳和所述光学获取系统的传感器的至少一个像素的共轭，所述体积由被称为像素束的该组光线占据，该方法包括：‑生成表示像素束的一组数据·计算被称为第一生成射线的用于描述表示像素束的单页双曲面的表面的第一直线围绕作为双曲面的回转轴的第二直线的第一旋转角度，所述旋转将第一生成射线变换到与参考直线交叉的第二生成射线，·计算被称为第三生成射线的用于描述双曲面的表面的第三直线围绕双曲面的回转轴的第二旋转角度，所述旋转将第三生成射线变换为与参考直线交叉的第四生成射线，计算第二或者第四生成射线之一和双曲面的回转轴之间的距离，该组数据包括：表示第二生成射线的参数，表示第四生成射线的参数和第二或者第四生成射线之一和双曲面的回转轴之间的距离。

【技术特征摘要】
【国外来华专利技术】2015.12.30 EP 15307174.11.一种用于生成表示一组光线在光学获取系统的物体空间中占据的体积的一组数据的计算机实现的方法，该组光线通过所述光学获取系统的光瞳和所述光学获取系统的传感器的至少一个像素的共轭，所述体积由被称为像素束的该组光线占据，该方法包括：-生成表示像素束的一组数据·计算被称为第一生成射线的用于描述表示像素束的单页双曲面的表面的第一直线围绕作为双曲面的回转轴的第二直线的第一旋转角度，所述旋转将第一生成射线变换到与参考直线交叉的第二生成射线，·计算被称为第三生成射线的用于描述双曲面的表面的第三直线围绕双曲面的回转轴的第二旋转角度，所述旋转将第三生成射线变换为与参考直线交叉的第四生成射线，计算第二或者第四生成射线之一和双曲面的回转轴之间的距离，该组数据包括：表示第二生成射线的参数，表示第四生成射线的参数和第二或者第四生成射线之一和双曲面的回转轴之间的距离。2.根据权利要求1所述的方法，其中，参考直线平行于光学获取系统的主透镜的光轴。3.根据权利要求1所述的方法，其中，所述参考直线平行于光学获取系统的透镜阵列的中心轴。4.根据前述权利要求任一项所述的方法，其中，分别计算第一和第二旋转角度在于：-通过将分别定义第一和第三生成射线的矢量与旋转矩阵相乘，计算分别定义第二和第四生成射线的矢量的坐标，-第二和第四生成射线分别与参考直线之间的距离等于零，这是由于所述第二和第四生成射线分别与所述参考直线相互交叉，基于分别定义所述第二和第四生成射线以及所述参考直线的点和矢量，分别计算第一和第二旋转角度的值。5.根据前述权利要求中任一项所述的方法，其中，在生成表示像素束的该组数据之前，分类第二和第四生成射线，使得第一和第二旋转角度以升序排列。6.根据前述权利要求中任一项所述的方法，其中，第二或者第四生成射线之一和双曲面的回转轴之间的计算出的距离是第二或者第四生成射线之一和双曲面的回转轴之间的最短距离。7.一种用于生成表示一组光线在光学获取系统的物体空间中占据的体积的一组数据的装置，该组光线通过所述光学获取系统的光瞳和所述光学获取系统的传感器的至少一个像素的共轭，所述体积由被称为像素束的该组光线占据，所述装置包括处理器，处理器配置为：-通过以下生成表示像素束的一组数据：·计算被称为第一生成射线的用于描述表示像素束的单页双曲面的表面的第一直线围绕作为双曲面的回转轴的第二直线的第一旋转角度，所述旋转将第一生成射线变换到与参考直线交叉的第二生成射线，·计算被称为第三生成射线的用于描述双曲面的表面的第三直线围绕双曲面的回转轴的第二旋转角度，所述旋转将第三生成射线变换为与参考直线交叉的第四生成射线，计算第二或者第四生成射线之一和双曲面的回转轴之间的距离，该组数据包括：表示第二生成射线的参数，表示第四生成射线的参数和第二或者第四生成射线之一和双曲面的回转轴之间的距离。8.根据权利要求7所述的装置，其中，处理器配置为通过以下分别计算第一和第二旋转角度：-通过将分别定义第一和第三生成射线的矢量与旋转矩阵相乘，计算分别定义第二和第四生成射线的矢量的坐标，-第二和第四生成射线分别与参考直线之间的距离等于零，这是由于所述第二...

【专利技术属性】
技术研发人员：L布隆德，V德拉齐克，M塞菲，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR