一致地编辑光场数据制造技术

本发明专利技术描述了一种用于对包括从不同视点获取的场景的多个视图的3D场景的光场捕获应用几何变形的方法。变形被指定为对视图的子集的(源点，目标点)位置约束的集合。这些位置约束被传播到所有视图，并且针对每个视图生成变形图像，以便这些变形图像跨视图在3D中是几何一致的。

【技术实现步骤摘要】
【国外来华专利技术】一致地编辑光场数据
本公开的领域涉及光场成像。更具体地，本公开涉及用于编辑光场数据的图像的技术。
技术介绍
本部分旨在向读者介绍可能与以下描述和/或要求保护的本公开的各个方面有关的现有技术的各个方面。相信该讨论有助于向读者提供背景信息以促进更好地理解本公开的各个方面。因此，应理解，这些陈述应当从这个角度被理解，而不被承认是现有技术。传统图像捕获设备将3(三)维(3D)场景渲染到二维传感器上。在操作期间，传统捕获设备捕获表示到达设备内的传感器(或光电检测器)上的每个点的光量的二维(2D)图像。然而，该2D图像不包含关于到达传感器的光线的方向分布(可被称为光场)的信息。例如，在采集期间丢失深度。因此，传统捕获设备不存储大部分关于来自场景的光分布的信息。光场捕获设备(也称为“光场数据采集设备”)已被设计为通过捕获来自该场景的不同视点的光来测量场景的四维(4D)光场。因此，通过测量沿与传感器相交的每个光束传播的光量，这些设备可以捕获额外的光学信息(关于光线束的方向分布的信息)以通过后处理提供新的成像应用。由光场捕获设备采集/获取的信息被称为光场数据。光场捕获设备在本文被定义为能够捕获光场数据的任何设备。存在若干组光场捕获设备。第一组光场捕获设备，也被称为“照相机阵列”，体现了将图像投影到单个共享图像传感器或不同图像传感器上的照相机阵列。这些设备因此需要照相机的极其精确的布置和定向，这使得其制造往往复杂且昂贵。第二组光场捕获设备，也被称为“全光设备”或“全光照相机”，体现了微透镜阵列，其位于主透镜的图像焦场中并且在每微透镜一个微图像被投影在其上的光电传感器之前。全光照相机根据微透镜阵列和传感器之间的距离d被划分为两种类型。关于“1型全光照相机”，该距离d等于微透镜焦距f(如R.Ng等人在文章“利用手持全光照相机的光场摄影(Light-fieldphotographywithahand-heldplenopticcamera)”，CSTR，2(11)，2005中所述)。关于“2型全光照相机”，该距离d不同于微透镜焦距f(如A.Lumsdaine和T.Georgiev在文章“聚焦全光照相机(Thefocusedplenopticcamera)”，ICCP，2009中所述)。对于1型和2型全光照相机二者，光电传感器在每个微透镜下面的区域被称为微图像。对于1型全光照相机，每个微图像描绘所捕获的场景的特定区域，并且该微图像的每个像素从主透镜出瞳上的某个子孔径位置的视角来描绘该特定区域。对于2型全光照相机，相邻的微图像可能部分重叠。位于这样的重叠部分内的一个像素因此可以捕获在主透镜出瞳的不同子孔径位置处折射的光线。光场数据处理尤其包括但不限于：生成场景的重新聚焦图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像、和/或这些项的任何组合。尽管对光场捕获的兴趣有所增加，但较少编辑技术可以用于跨视点一致地编辑光场数据。大多数所提出的方法(如S.Seitz和K.M.Kutulakos在文章“全光图像编辑(PlenopticImageEditing)”，计算机视觉国际会议，1998中所述)处理编辑纹理信息，但很少能够改变图像的几何结构。图像的这种几何变形可用于放大或压缩某些图像区域。例如，可以使得图像中被俘获的建筑物的窗户的尺寸更大，或者可以使得图像中的人的胸部更大以赋予更加肌肉发达的外观。具体地，用于编辑传统2D图像的方便且有效的方法依赖于稀疏位置约束，包括源点位置和目标点位置对的集合。每个对强制执行约束，即原始图像中源点的位置处的像素应移动到结果图像中相应目标点的位置。通过对源图像应用密集图像变形变换来获得图像几何结构变化。每个图像点处的变换作为计算处理的结果而获得，该计算处理优化局部图像纹理特征的保存，同时满足对稀疏控制点的约束。这种图像变形方法不能直接被应用于光场中的各个视图，因为这将导致视图不对准并产生严重的视觉伪影。因此期望提供一种相对于
技术介绍
显示出改进的装置和方法。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可能不一定都包括该特定特征、结构或特性。此外，这样的短语不一定是指代同一实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合不论是否被明确描述的其他实施例来实现这种特征、结构或特性是在本领域技术人员的知识范围内。本专利技术的特定实施例涉及一种用于一致地编辑光场数据的方法，该方法处理：●光场数据，包括根据2D视图的集合描绘的3D场景的多个校准2D图像，2D视图的集合包括至少两个参考视图和至少一个附加视图，●与该至少两个参考视图相关联的至少一个初始位置约束参数集合，位置约束参数中的每一个表示将被应用于根据(该至少两个参考视图中的)相应视图描绘的3D场景的原始2D图像中的给定点以变形所述原始2D图像的变换，位置约束参数包括：○给定点在根据相应视图描绘的3D场景的原始2D图像中的相应视图中的2D源位置，○给定点在根据相应视图描绘的3D场景的变形2D图像中的相应视图中的2D目标位置，该方法包括：●针对与该至少两个参考视图相关联的位置约束参数中的每一个位置约束参数来确定3D场景中2D源位置是到相应视图中的投影的3D源位置，以及3D场景中2D目标位置是到相应视图中的投影的3D目标位置，●根据3D源位置和3D目标位置确定与至少一个附加视图相关联的附加位置约束参数的附加集合，附加位置约束参数中的每一个表示将被应用于根据(该至少一个附加视图中的)相应视图描绘的3D场景的原始2D图像中的给定点以变形所述原始2D图像的变换，●根据与2D视图相关联的位置约束参数来变形根据2D视图的集合描绘的3D场景的2D图像中的每一个，以获得经编辑的光场数据。在本说明书中，术语“校准2D视图”是指3D场景的相应投影矩阵已知的二维视图。这种投影矩阵允许确定3D场景中的任意点到2D视图的投影。相反，给定2D视图的图像上的某一点，投影矩阵允许确定该视图的观察光线，即3D空间中投影到所述点的线。此外，对2D图像中的每一个进行变形，应理解根据其各自的相应初始和附加位置约束参数来对包括至少两个参考视图和至少一个附加视图的2D视图的集合进行变形。本专利技术依赖于将图像变形方法推广到光场数据的新颖且创造性的方法。这样的方法允许将由位置约束参数指定的对光场捕获的一些视图(在术语“参考视图”之下所参考的)的几何变形传播到针对其这些位置约束参数未被初始指定的附加视图。该方法然后允许针对光场捕获的每个视图生成变形图像，使得变形图像跨视图在3D中是几何一致的。所有变形图像的集合对应于经编辑的光场数据。在一个特定实施例中，还根据针对已知为校准数据的每个2D视图(Vm)的3D场景的相应的投影矩阵(Cm)的集合来描绘3D场景的多个校准2D图像。在一个特定实施例中，该方法包括输入至少一个初始位置约束参数集合的先前步骤。在一个实施例中，用户借助人/机界面输入这样的初始位置约束参数集合。在一个特定实施例中，该方法包括针对与参考视图相关联的位置约束参数中的每一个来确定3D空间中在2D源位置上投影的线以及3D空间中在2D目标位置上投影的线，并且根据这些线确定所述本文档来自技高网...

【技术保护点】
1.一种用于一致地编辑光场数据的方法，所述方法处理：●所述光场数据，所述光场数据包括根据2D视图(Vm)的集合(V)描绘的3D场景的多个校准2D图像，所述2D视图(Vm)的集合(V)包括至少两个参考视图(Vj)和至少一个附加视图(Vk)，●与所述至少两个参考视图(Vj)相关联的至少一个初始位置约束参数

【技术特征摘要】
【国外来华专利技术】2016.01.11 EP 16305017.21.一种用于一致地编辑光场数据的方法，所述方法处理：●所述光场数据，所述光场数据包括根据2D视图(Vm)的集合(V)描绘的3D场景的多个校准2D图像，所述2D视图(Vm)的集合(V)包括至少两个参考视图(Vj)和至少一个附加视图(Vk)，●与所述至少两个参考视图(Vj)相关联的至少一个初始位置约束参数集合，所述位置约束参数中的每一个位置约束参数表示将被应用于根据所述至少两个参考视图中(Vj)的相应视图(Vj)描绘的所述3D场景的原始2D图像中的给定点以变形所述原始2D图像的变换，所述位置约束参数包括：○所述给定点在根据所述相应视图(Vj)描绘的所述3D场景的所述原始2D图像中的所述相应视图(Vj)中的2D源位置○所述给定点在所述根据相应视图(Vj)描绘的所述3D场景的变形2D图像中的所述相应视图(Vj)中的2D目标位置所述方法包括：●针对与所述至少两个参考视图相关联的所述位置约束参数中的每一个位置约束参数来确定(S2)所述3D场景中所述2D源位置是到所述相应视图(Vj)中的投影的3D源位置(Pi)，以及所述3D场景中所述2D目标位置是到所述相应视图(Vj)中的投影的3D目标位置(Qi)，●根据3D源位置(Pi)和3D目标位置(Qi)确定(S3)与至少一个附加视图(Vk)相关联的附加位置约束参数(pik，qik)的附加集合，所述附加位置约束参数(pik，qik)中的每个附加位置约束参数(pik，qik)表示将被应用于根据所述该至少一个附加视图(Vk)中的相应视图(Vk)描绘的所述3D场景的原始2D图像中的给定点以变形所述原始2D图像的变换，●根据与所述2D视图相关联的所述位置约束参数(pim，qim)来变形(S4)根据所述2D视图(Vm)的集合描绘的所述3D场景的所述2D图像中的每一个，以获得经编辑的光场数据。2.根据权利要求1所述的方法，其中，还根据针对所述2D视图(Vm)中的每个2D视图(Vm)的所述3D场景的相应投影矩阵(Cm)的集合来描绘所述3D场景的所述多个校准2D图像。3.根据权利要求1或2所述的方法，其中，包括输入所述至少一个初始位置约束参数集合的先前步骤。4.根据权利要求1至3中任一项所述的方法，其中，包括针对与所述至少两个参考视图(Vj)相关联的所述位置约束参数中的每个位置约束参数来确定(S1)3D空间中在所述2D源位置上投影的线以及3D空间中在所述2D目标位置上投影的线，并且根据所述线确定所述3D源位置和所述3D目标位置。5.根据权利要求4所述的方法，其中，每条线在Plucker坐标中被表示为被标注为(d，m)的一对3D向量，并且其中，所述确定(S2)所述3D场景中所述2D源位置是到所述相应视图(Vj)中的投影的所述3D源位置(Pi)包括以最小二乘意义求解由所述初始位置约束集合形成的方程组：6.根据权利要求1至5中任一项所述的方法，其中，变形(S4)实现了移动最小二乘算法。7.根据权...

【专利技术属性】
技术研发人员：基兰·瓦拉纳西，尼乌斯·萨巴特尔，弗朗索瓦·勒·克莱尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR