用于基于法线的纹理混合的来自深度图的平滑法线制造技术

在纹理映射应用中的平滑表面法线的技术涉及从用于捕获图像以用于纹理映射的每个相机的视角生成平滑法线。沿着这些线，用于捕获图像以用于纹理映射的相机位于相对于纹理映射计算机将纹理图像映射到其上的几何对象的定向。纹理映射计算机放置以几何对象上的一点为中心的滤波器窗口。然后，纹理映射计算机生成滤波器窗口中的点上的平均法线作为该点处的平滑法线。然后，由此针对每个相机计算出的平均法线用于作为该点处的图像值的加权平均的权重。

Smooth normals from depth map for normal based texture blending

【技术实现步骤摘要】
【国外来华专利技术】用于基于法线的纹理混合的来自深度图的平滑法线相关申请的交叉引用本申请要求在2017年11月24日提交的标题为“SMOOTHEDNORMALSFROMDEPTHMAPSFORNORMAL-BASEDTEXTUREBLENDING”的美国专利申请No.62/590,505的优先权，其公开内容通过引用全文并入本文中。
本说明书涉及到计算机生成的、三维对象上的纹理映射。
技术介绍
纹理映射涉及将图像应用于三维空间中的给定表面。例如，相机可以捕获包括诸如颜色和阴影的纹理属性的人的面部的图像。然后，纹理映射系统可以将纹理属性映射到表示人的面部的形状的三维几何图形上。在诸如虚拟现实系统中的游戏和电影的某些应用中，可能存在遮挡表示人的面部的对象的对象。在这种情况下，纹理映射涉及将来自其它对象的阴影或遮挡图生成到表示人的面部的对象上。为了更准确地映射纹理，纹理映射系统可以使用来自以相对于人成设定角度布置的多个相机的图像。然后，纹理映射是由每个相机捕获的图像的平均。在纹理映射中，可以基于被遮挡的阴影区域中的点附近的点的数量，使用如从每个相机看到的对象上的点处的可见性来均一地对图像的平均进行加权。这种可见性映射向基于感兴趣对象附近的遮挡对象而生成的阴影区域提供软过渡和提供来自基于感兴趣对象附近的遮挡对象而生成的阴影区域的软过渡。
技术实现思路
在一个总体方面中，方法可包括通过被配置为对表示图像环境中的几何对象的数据执行纹理映射操作的计算机的处理电路系统，接收(i)表示图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于纹理对象的定向。方法还可包括针对多个相机中的每个，通过处理电路系统，获得在几何对象的表面上的点处的与该相机对应的平滑法线，平滑法线通过几何对象被投影到其上的深度图中的像素的加权和进行求值。方法可进一步包括针对多个相机中的每个，通过处理电路系统生成与该相机对应的相应权重，权重基于该相机的定向和与该相机对应的平滑法线的点积。方法可进一步包括通过处理电路系统生成由多个相机捕获的纹理对象的图像的加权平均，以在图像环境中产生纹理映射对象，由多个相机中的每个捕获的纹理对象的图像由与该相机对应的权重进行加权。在附图和以下描述中阐述了一个或者多个实施方式的细节。其它特征将从描述、附图和从权利要求变得显而易见。附图说明图1是图示了在其中可以实施本文中所描述的改进技术的示例电子环境的图解。图2是图示实施如图1中所示出的改进技术的示例方法的流程图。图3是图示了根据图1中所示出的改进技术的要向其上映射纹理的示例几何对象以及随附的示例深度图的图解。图4A和图4B是图示了根据图1中所示出的改进技术生成平滑法线的示例过程的图解。图5是图示了根据图1中所示出的改进技术生成加权平均纹理图像的示例过程的图解。图6图示了可以与此处所描述的电路一起使用的计算机装置和移动计算机装置的示例。具体实施方式尽管在存在遮挡对象的情况下在遮挡区域中使用上述均一权重的纹理映射在阴影区域中提供了软过渡，但是所得图像是模糊的。模糊的一个原因是，上述均一加权与纹理被映射到其上的几何图形无关。例如，在一些诸如虚拟现实系统中的游戏和电影的应用中，准确地执行纹理映射的能力可能取决于观察者的视点以及捕获图像的一个或多个相机的视点。然后，这种应用可以使用取决于视图的加权，该加权不仅取决于从每个相机的可见性，还取决于视点定向与每个相机定向之间的角度的余弦的幂。然而，事实证明，尽管取决于视图的加权减少了模糊，但对于不平行于相机定向的视点，该加权会产生不准确的伪像。为了解决在取决于视图的加权中引入伪像的问题，一些纹理映射应用使用取决于法线的加权。在取决于法线的加权中，由相机捕获的每个图像根据可见性和相机定向与在表面上的点处的到感兴趣对象的表面的法线之间的余弦的幂进行加权。尽管取决于法线的加权直接考虑所讨论的对象的形状，但是由于计算表面法线的固有噪声，当从扫描数据中的噪声局部估计得出表面法线时，该加权可将波纹引入到纹理上。使用取决于法线的加权的一些纹理映射应用在平均之前对表面法线执行平滑操作。在纹理映射应用中平滑表面法线的传统方法涉及将整个体素栅格中的局部区域上的所有对象表面的法线平均。尽管这种方法可以导致准确的平滑和纹理映射，但是该方法也消耗大量的计算资源并且难以加速。根据本文中所描述的实施方式，在纹理映射应用中平滑表面法线的改进技术涉及从用于捕获图像以用于纹理映射的每个相机的视角生成平滑法线。沿着这些线，用于捕获图像以用于纹理映射的相机位于相对于纹理映射计算机将纹理图像映射到其上的几何对象的定向。纹理映射计算机放置以几何对象上的一点为中心的滤波器窗口。然后，纹理映射计算机在滤波器窗口中的点上生成平均法线作为该点处的平滑法线。然后，由此针对每个相机计算出的平均法线用于作为该点处的图像值的加权平均的权重。进一步地，纹理映射计算机仅在深度图而不是整个体素栅格上执行这些平均法线的计算。纹理映射计算机通过将几何对象投影到图像(或纹理)域中来生成深度图(或遮挡图)。这个域是二维空间，而不是如体素栅格的三维空间。有利地，以这种方式计算的平滑法线不会经历与不使用平滑法线的纹理映射的方法相关联的伪像、波纹或模糊，或不会经历使用平滑法线的传统方法中使用的昂贵计算。在许多情况下，对象相对于遮挡几何对象或被几何对象遮挡的其它对象的平均深度图指示在几何对象的边界附近的过渡或阴影区域内计算的法线向外指向并几乎垂直于相机的定向。(平均深度图上的点的法线等效于几何对象的表面上的点处的平均法线。)因此，对过渡区域中由平均过程引起的任何误差进行减权。此外，在深度图上对法线进行平均比在整个体素栅格上快得多。图1是图示了在其中可以实施上述改进技术的示例电子环境100的图解。如所示出，在图1中，电子环境100包括网络110、纹理映射计算机120和图像环境服务器计算机190。网络110被配置和布置为在纹理映射计算机120与媒体服务器计算机190之间提供网络连接。网络110可以实施通常用于通过互联网或其它网络进行通信的各种协议和拓扑中的任何一种。进一步地，网络110可以包括在这种通信中使用的各种部件(例如电缆、交换机/路由器、网关/网桥等)。纹理映射计算机120被配置为对生成几何对象的平滑法线以进行纹理映射。纹理映射计算机120包括网络接口122、一个或多个处理单元124和存储器126。网络接口122包括例如以太网适配器、令牌环适配器等以用于将从网络接收到的电子和/或光信号转换成电子形式，以供用户装置计算机120使用。处理单元124的集合包括一个或多个处理芯片和/或装配。存储器126包括易失性存储器(例如RAM)和非易失性存储器两者，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路系统，该控制电路系统被配置和布置为实行如本文中所描述的各种方法和功能。在一本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过被配置为对表示图像环境中的几何对象的数据执行纹理映射操作的计算机的处理电路系统，接收(i)表示所述图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于所述纹理对象的定向；/n针对所述多个相机中的每个：/n通过所述处理电路系统获得在所述几何对象的表面上的点处与该相机对应的平滑法线，在点处被求值的所述平滑法线通过深度图中的像素的加权和来求值，所述几何对象被投影到所述深度图上；以及/n通过所述处理电路系统生成与该相机对应的相应权重，所述权重基于该相机的所述定向和与该相机对应的所述平滑法线的点积；以及/n通过所述处理电路系统生成由所述多个相机捕获的所述纹理对象的所述图像的加权平均，以在所述图像环境中产生纹理映射对象，由所述多个相机中的每个捕获的所述纹理对象的所述图像通过与该相机对应的所述权重进行加权。/n

【技术特征摘要】
【国外来华专利技术】20171124 US 62/590,5051.一种方法，包括：
通过被配置为对表示图像环境中的几何对象的数据执行纹理映射操作的计算机的处理电路系统，接收(i)表示所述图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于所述纹理对象的定向；
针对所述多个相机中的每个：
通过所述处理电路系统获得在所述几何对象的表面上的点处与该相机对应的平滑法线，在点处被求值的所述平滑法线通过深度图中的像素的加权和来求值，所述几何对象被投影到所述深度图上；以及
通过所述处理电路系统生成与该相机对应的相应权重，所述权重基于该相机的所述定向和与该相机对应的所述平滑法线的点积；以及
通过所述处理电路系统生成由所述多个相机捕获的所述纹理对象的所述图像的加权平均，以在所述图像环境中产生纹理映射对象，由所述多个相机中的每个捕获的所述纹理对象的所述图像通过与该相机对应的所述权重进行加权。


2.根据权利要求1所述的方法，其中，获得在所述几何对象的所述表面上的所述点处与所述多个相机中的每个对应的所述平滑法线包括：
获得沿着滤波器窗口的第一轴的指定点的第一平均坐标；
在所述第一平均坐标处生成所述表面的切线，以在所述几何对象的所述表面上的所述点处产生所述表面的第一平均切线；
获得沿着所述滤波器窗口的第二轴的指定点的第二平均坐标；
在所述第二平均坐标处生成所述表面的切线，以在所述几何对象的所述表面上的所述点处产生所述表面的第二平均切线；以及
生成所述第一平均切线和所述第二平均切线的叉积以产生所述平滑法线。


3.根据权利要求2所述的方法，其中，获得沿着所述滤波器窗口的所述第一轴的所述指定点的所述第一平均坐标包括：
对相对于所述第一轴位于所述点的第一侧上的所述指定点的深度进行平均以产生第一平均点；
对相对于所述第一轴位于所述点的第二侧上的所述指定点的深度进行平均以产生第二平均点；以及
产生所述第一平均点与所述第二平均点之间的差作为在所述几何对象的所述表面上的所述点处的所述表面的所述第一平均切线。


4.根据权利要求2所述的方法，其中，获得沿着所述滤波器窗口的所述第二轴的所述指定点的所述第一平均坐标包括：
对相对于所述第二轴位于所述点的第一侧上的所述指定点的深度进行平均以产生第一平均点；
对相对于所述第二轴位于所述点的第二侧上的所述指定点的深度进行平均以产生第二平均点；以及
产生所述第一平均点与所述第二平均点之间的差作为在所述几何对象的所述表面上的所述点处的所述表面的所述第二平均切线。


5.根据权利要求1所述的方法，其中，所述权重进一步基于所述点的可见性，所述可见性基于在边界框中位于所述几何对象的所述表面上的点的数量。


6.根据权利要求1所述的方法，进一步包括：对所述几何对象数据执行投影操作，以产生所述几何对象的二维深度图，以及
其中，获得在所述几何对象的表面上的点处与所述多个相机中的每个对应的所述平滑法线包括：对所述深度图的区域上的法线进行平均。


7.一种包括非传递性存储介质的计算机程序产品，所述计算机程序产品包括代码，所述代码当由被配置为对表示图像环境中的几何对象的数据执行纹理映射操作的服务器计算装置的处理电路系统执行时，使所述处理电路系统执行方法，所述方法包括：
接收(i)表示所述图像环境中的几何对象的几何对象数据和(ii)表示由多个相机捕获的纹理对象的相应图像的图像数据，所述多个相机中的每个具有相对于所述纹理对象的定向；
针对所述多个相机中的每个：
获得在所述几何对象的表面上的点处与该相机对应的平滑法线，所述平滑法线通过深度图中的像素的加权和来求值，所述几何对象被投影到所述深度图上；以及
生成与该相机对应的相应权重，所述权重基于该相机的所述定向和与该相机对应的所述平滑法线的点积；以及
生成由所述多个相机捕获的所述纹理对象的所述图像的加权平均，以在所述图像环境中产生纹理映射对象，由所述多个相机中的每个捕获的所述纹理对象的所述图像通过与该相机对应的所述权重进行加权。


8.根据权利要求7所述的计算机程序产品，其中，获得在所述几何对象的所述表面上的所述点处与所述多个相机中的每个对应的所述平滑法线包括：
获得沿着滤波器窗口的第一轴的指定点的第一平均坐标；
在所述第一平均坐标处生成所述表面的切线，以在所述几何对象的所述表面上的所述点处产生所述表面的第一平均切线；
获得沿着所述滤波器窗口的第二轴的指定点的第二平均坐标；
在所述第二平均坐标处生成所述表面的切线，以在所述几何对象的所述表面上的所述点处产生所述表面的第二平均切线；以及
生成所述第一平均切线和所述第二平均切线的叉积以产生所述平滑法线。

【专利技术属性】
技术研发人员：丹尼尔·戈德曼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US