使用光线投射法的基于图像的多个深度图像的几何融合制造技术

本公开涉及使用光线投射法的基于图像的多个深度图像的几何融合。渲染图像的技术包括：在沿着来自指定视点的光线的距给定深度图像的投影距离方面，生成沿着该光线的带有符号的距离值(SDV)。对于从指定视点的透视角的图像中的每个像素，光线被追踪到由该图像表示的三维场景中。沿着光线执行迭代步骤，在每个迭代中获得三维世界空间点p。结果是如从深度视图D

【技术实现步骤摘要】
使用光线投射法的基于图像的多个深度图像的几何融合
[0001]分案说明
[0002]本申请属于申请日为2020年6月24日的中国专利技术专利申请No.202010585224.9的分案申请。


[0003]此说明书涉及多个深度图像的融合。

技术介绍

[0004]一些被配置成渲染计算机图形对象的计算机可以在给定多个、现有视图的情况下在指定的视图处渲染对象。例如，考虑到从相机捕获的关于包括这样的计算机图形对象的场景的数个深度图像和彩色图像，目标可能是从不同的视点合成场景的新视图。场景可以是真实的或者可以是合成的，在场景可以是真实的情况下使用物理颜色和深度传感器捕获视图，在场景可以是合成的情况下使用诸如光栅化或光线追踪法的渲染算法捕获视图。对于真实场景，存在许多深度感测技术，诸如飞行时间传感器、基于结构光的传感器以及立体或多视图立体算法。此类技术可能涉及具有被动或主动照明模式的可见或红外传感器，其中这些模式可能会随时间变化。

技术实现思路

[0005]在一个总体方面，一种方法可以包括：由被配置成渲染对象图像的计算机的处理电路，接收表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个是从相应视点捕获到的对象的深度图像，该深度图像表示图像捕获设备与对象之间的距离。该方法还可以包括：接收表示对象的图像的目标视点的视点数据，该目标视点与从其捕获多个深度图像中的每个的相应视点不同，图像包括多个像素。该方法可以进一步包括生成表示朝向图像的多个光线的光线数据，所述多个光线中的每个光线对应于图像的多个像素中的相应像素。该方法可以进一步包括对于多个光线中的每个光线：生成带有符号的距离值(SDV)数据，该SDV数据表示沿着该光线的多个位置中的每个位置处的多个SDV，在沿着该光线的多个位置中的每一个处的多个SDV中的每个对应于多个深度图像中的相应深度图像；对在沿着该光线的多个位置中的每个位置处的SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据，该聚合SDV数据表示沿着光线的多个位置中的每个位置处的聚合SDV；以及确定沿着该光线的聚合SDV满足指定条件的位置。该方法可以进一步包括：基于沿着多个光线的该光线的相应聚合的SDV等于指定值的位置来生成从指定视点的角度捕获到的对象的深度图像。
[0006]在下面的附图和描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图中并从权利要求书中显而易见。
附图说明
[0007]图1是图示用于实现本文描述的技术方案的示例电子环境的图。
[0008]图2是图示在图1中所示的电子环境内执行技术方案的示例方法的流程图。
[0009]图3是图示用于根据在图1中所示的电子环境中执行的技术方案确定沿着光线的在指定视点处的深度图处被确定的点的示例几何结构的图。
[0010]图4是图示根据图1中所示的电子环境中执行的技术方案生成的示例融合深度图的图。
[0011]图5图示可以与这里描述的电路一起使用的计算机设备和移动计算机设备的示例。
具体实施方式
[0012]本文描述的背景是根据现有视图的计算机图形渲染。考虑到从相机捕获的关于场景的数个深度图像和彩色图像，期望从不同的视点合成场景的新视图。场景可以是物理的(在这种情况下，使用物理颜色和深度传感器捕获视图)，或者是合成的(在这种情况下，使用诸如光栅化或光线追踪的渲染算法捕获视图)。
[0013]对于物理场景，存在许多深度感测技术，诸如飞行时间传感器，基于结构光的传感器和立体(或多视图立体)算法。这些技术可能涉及可见或红外传感器，可选地具有被动或主动照明模式，其中模式可能会随时间变化。
[0014]通常的问题是将来自多个视图的信息合并到场景的一致表示中，使得可以从指定视点以正确的表面间遮挡和视差来渲染重构的场景。在物理场景中，深度传感器和颜色传感器都会创建有噪声的数据。另外，所获取的深度图像可能具有较大的误差，特别是在诸如轮廓的深度不连续附近。因此，期望在合并它们时自适应地变化给予不同视图的重要性，例如，如果场景平面从另一个视图是以更加迎面的方向可见的，则给予倾斜地看见该场景平面的视图较少偏好。将视图合并为一致的几何表示的过程被称为“几何融合”。
[0015]解决该一般问题的常规方法包括：定义体(三维)网格的每个体素中的距每个给定深度图像的截断带有符号的距离场(TSDF)，为体网格的每个体素累积TSDF，并且然后在所有体素上使用TSDF的零来近似场景的表示。
[0016]由于体网格，上述要解决技术问题的常规方法中涉及的技术问题使用大量的内存。此外，常规方法遇到有噪声的深度数据和在诸如轮廓的深度不连续附近的问题。
[0017]与解决上述技术问题的常规方法相反，对上述技术问题的技术方案包括：在沿着来自指定视点的光线的距给定深度图像的投影距离方面，生成沿着该光线的带有符号的距离值(SDV)。从指定视点的透视角对于图像中的每个像素，将光线追踪到该图像表示的三维场景中。沿着光线执行迭代步骤，在每次迭代中获得三维世界空间点p。对于与给定深度图像相关联的每个深度视图D
j
，将点p投影到该深度图像中，从深度图像中采样深度值，并从p相对于深度视图相机的z坐标(深度)中减去采样的深度值。结果是如从深度视图D
j
所测量的带有符号的距离s
j
。如果带有符号的距离s
j
的绝对值大于某个截断阈值参数，则将该带有符号的距离s
j
替换为特定的未定义值。定义的带有符号的距离值被聚合以获得总体带有符号的距离s。最后，确定带有符号的距离场的根或零集(等值面)。
[0018]上述技术方案的技术优点在于，该技术方案不需要将来自多个视图的信息累积或
聚合到存储在存储器中的体积式的表示中。因此，根据技术方案操作的计算机能够以更少的内存空间和带宽来操作。此外，上述技术方案在存在有噪声的深度数据并且在深度不连续附近时是鲁棒的。
[0019]图1是图示示例电子环境100的图，其中可以实现上述改进技术。如所示的，在图1中，示例电子环境100包括计算机120。
[0020]计算机120被配置成渲染对象的图像。计算机120包括网络接口122、一个或多个处理单元124以及存储器126。网络接口122包括例如以太网适配器等，用于将从网络接收到的电子和/或光信号转换成用于计算机120使用的电子形式。处理单元124的集合包括一个或多个处理芯片和/或组件。存储器126包括易失性存储器(例如，RAM)和非易失性存储器两者，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路，其被配置和布置成执行本文所述的各种方法和功能。
[0021]在一些实施例中，计算机120的组件中的一个或多个可以是或可以包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1中所描述的这样的指令的示例包括深度图像管理器130、视点管理器140、光线投本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由被配置为渲染对象的图像的计算机的处理电路接收表示对象的多个颜色图像的颜色图像数据，所述多个颜色图像中的每个是从相应视点捕获的对象的颜色图像；接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个颜色图像中的每个颜色图像的所述相应视点不同，所述图像包括多个像素；对于所述图像的多个像素中的每个像素：生成与该像素相对应的目标深度图像的深度值；识别对应于所述深度值的空间中的点；将所述空间中的点投影到所述多个颜色图像中的每个颜色图像的表面中，以产生该像素的多个颜色；对所述多个颜色执行混合操作以产生该像素的相应混合颜色；和基于所述图像的所述多个像素中的每个像素的所述相应混合颜色，生成从所述目标视点的透视角捕获的所述对象的目标颜色图像。2.根据权利要求1所述的方法，其中执行所述混合操作包括：根据所述多个颜色中的每个颜色的相应混合权重来混合所述多个颜色。3.根据权利要求2所述的方法，其中，所述多个像素中的像素的所述多个颜色中的每个颜色的相应混合权重是基于所述像素处的所述图像的法线与所述像素的所述目标视点的内积。4.根据权利要求2所述的方法，其中，如果从遮挡所述多个颜色图像中的颜色图像的所述相应视点遮挡所述空间中的点，则所述多个颜色中的颜色的所述混合权重为零。5.一种存储指令的非暂时性计算机可读存储介质，所述指令当被配置为渲染对象的图像的服务器计算设备的处理电路执行时，使所述处理电路执行一种方法，所述方法包括：由被配置为渲染对象的图像的计算机的处理电路接收表示对象的多个颜色图像的颜色图像数据，所述多个颜色图像中的每个是从相应视点捕获的对象的颜色图像；接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个颜色图像中的每个颜色图像的所述相应视点不同，所述图像包括多个像素；对于所述图像的多个像素中的每个像素：生成与该像素相对应的目标深度图像的深度值；识别对应于所述深度值的空间中的点；将所述空间中的点投影到所述多个颜色图像中的每个颜色图像的表面中，以产生该像素的多个颜色；对所述多个颜色执行混合操作以产生该像素的相应混合颜色；和基于所述图像的所述多个像素中的每...

【专利技术属性】
技术研发人员：乌格斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：