公开了通过拓扑采样进行接合点形状和外观优化，提出的系统和方法实现了优化包括特定的3D场景或对象的形状及外观的3D模型表示。不透明的3D网格(例如，顶点位置和对应拓扑)和空间变化的材料属性基于图像空间损失进行联合优化以匹配多个图像观察结果(例如，参考3D场景或对象的参考图像)。几何拓扑定义了不透明3D网格中的可见并且可以基于图像空间损失通过训练来随机地初始化和优化的面和/或单元。与使用透明网格表示相比，将几何拓扑应用于不透明的3D网格以学习该形状提高了轮廓边缘的准确度和性能。相比于需要对该拓扑的初始猜测和/或对可能的几何拓扑的穷举测试的方法，该3D模型表示基于图像空间差异进行学习，而无需初始猜测。初始猜测。初始猜测。
【技术实现步骤摘要】
通过拓扑采样进行接合点形状和外观优化
[0001]要求优先权
[0002]本申请要求2021年6月1日提交的题为“通过蒙特卡罗采样的拓扑进行接合点形状和外观优化(JOINT SHAPE AND APPEARANCE OPTIMIZATION THROUGH MONTE CARLO SAMPLED TOPOLOGIES)”的美国临时申请No.63/195,301的权益，其全部内容通过引用并入本文。
技术介绍
[0003]合成具有复杂形状和外观的对象的图像是计算机图形学的核心目标。问题可以分解为为所述对象的形状和外观选择合适的表示，根据所选择的表示对三维(3D)场景进行建模，最后高效地渲染该场景。为特定的3D场景创建形状和外观模型本质上是一个逆问题：寻找一个3D模型表示，其在被渲染时将产生按需显现的二维(2D)图像。在多次迭代中，逆向渲染用于基于正在建模的该3D场景的参考图像迭代地恢复3D模型的形状、光照和材料属性。
[0004]现有技术通常依赖于至少部分地基于参考图像(或参考3D模型)确定的初始体网格或3D模型(立方体、球体等)。其他技术依赖于使用统一体网格的所有可能拓扑进行训练，并且在执行时间方面实现起来代价高。例如，深度步进立方体技术为统一3D网格中的每个立方体评估140种可能的拓扑。还有其他技术产生的3D模型存在几何结构不准确。存在解决与现有技术关联的这些问题和/或其他问题的需求。
技术实现思路
[0005]本公开的实施例涉及通过拓扑采样的接合点形状和外观优化。公开了实现优化包括特定3D场景或对象的形状和外观的3D模型表示的系统和方法。在一个实施例中，不需要使用该3D场景或对象的一些知识的几何拓扑的初始猜测。在一个实施例中，几何拓扑定义了可见的(例如，启用的、活动的、包括的)体网格的单元(例如，3D网格、填充(packed)四面体)和/或单元的面(例如，三角形、四边形等)。几何拓扑可以基于图像空间损失通过训练来随机地初始化和优化。与使用透明网格表示相比，将所述几何拓扑应用于不透明3D网格以学习所述形状可提高轮廓边缘的准确性和性能。与需要对该拓扑的初始猜测和/或对可能的几何拓扑进行穷尽测试的方法相比，所述几何拓扑是基于图像空间差学习的，而无需初始猜测。外观驱动的3D模型提取有很多用途，例如创建复杂场景的多个细节层次的渲染，不同渲染系统之间的转换，甚至不同几何场景表示之间的转换。
[0006]在一个实施例中，不透明3D网格(例如，顶点位置和定义这些顶点位置之间的连接以形成表面或体的面的相应拓扑)和3D模型表示的空间变化的材料属性基于图像空间损失进行联合优化以匹配多个图像观察结果(例如，所述参考3D场景或对象的参考图像)。所述3D模型表示由可微分渲染器渲染以产生与所述参考图像相对应的经渲染图像。所述图像空间损失是基于与包括在体网格中的面相关联的计算的概率值以及参考图像和经渲染图像之间的差来计算的。更高的概率值对应于该面被包括在该3D模型表示中的更高的可能性。因此，可以从该3D模型表示中移除与概率值为零(或低于最小阈值)相关联的面或单元(单
元不是基于所述概率值插入的)。该图像空间损失被反向传播以更新用于生成该3D模型表示和概率值的学习的参数。
[0007]公开了一种用于通过拓扑采样进行接合点(joint)形状和外观优化的方法、计算机可读介质和系统。在一个实施例中，一种用于构建3D模型的方法包括：接收识别体网格内的单元的面的3D拓扑定义并且根据参数处理该3D拓扑和该体网格以预测对应于参考3D模型的3D模型表示，其中该3D模型表示包括表面网格。在一个实施例中，该表面网格是所述面的顶点位置的列表和定义所述单元的活动面之间的连接的拓扑。在优化期间，该体网格被修改并且在优化完成后，该体网格通过去除该体内部的面而转换为表面网格(只有该表面网格上的那些面被保留)。在一个实施例中，体网格中与低于阈值的学习的概率值相关联的面被移除以产生表面网格。在一个实施例中，该表面网格由三角形面定义。在一个实施例中，3D模型表示被渲染以产生经渲染图像并且对应于该经渲染图像的光线被传输通过该3D模型表示以计算该单元的概率值。在一个实施例中，基于该概率值以及经渲染图像与参考3D模型的参考图像之间的差来更新参数以减小该差。
附图说明
[0008]下面结合附图对通过拓扑采样进行形状和外观优化的本系统和方法进行详细描述，其中：
[0009]图1A示出了根据实施例的拓扑和用于学习拓扑的概率数据的概念图。
[0010]图1B示出了根据实施例的3D模型表示、学习的概率密度、渲染的3D模型表示和渲染的参考对象的概念图。
[0011]图1C示出了根据实施例的学习的概率密度、渲染的3D模型表示和学习的表面网格的概念图。
[0012]图1D示出了根据实施例的形状和外观驱动的自动3D建模系统的概念图。
[0013]图1E示出了适用于实现本公开的一些实施例的形状和外观驱动的自动3D建模的方法的流程图。
[0014]图2A示出了适用于实现本公开的一些实施例的用于渲染经采样拓扑的概率值的方法的流程图。
[0015]图2B示出了适用于实现本公开的一些实施例的用于基于概率值图像空间差来更新参数的方法的流程图。
[0016]图2C示出了适用于实现本公开的一些实施例的用于基于概率值对拓扑进行重要性采样的方法的流程图。
[0017]图3A示出了根据实施例的从粗到细的分层训练的概念图。
[0018]图3B示出了根据实施例的学习的表面网格、经渲染的3D模型表示和经渲染的参考3D模型的概念图。
[0019]图3C示出了适用于实现本公开的一些实施例的形状和外观驱动的自动3D建模的另一种方法的流程图。
[0020]图4示出了适用于实现本公开的一些实施例的示例并行处理单元。
[0021]图5A为适用于实现本公开的一些实施例的、使用图4的PPU实现的处理系统的概念图。
[0022]图5B示出了其中可以实现各种先前实施例的各种架构和/或功能的示例性系统。
[0023]图5C示出了在至少一个实施例中可以用于训练和利用机器学习的示例性系统的组件。
[0024]图6A为适用于实现本公开的一些实施例的、使用图4的PPU实现的图形处理管线的概念图。
[0025]图6B示出了适用于实现本公开的一些实施例的示例性游戏流系统。
具体实施方式
[0026]公开了与通过拓扑采样进行接合点形状和外观优化有关的系统和方法。3D模型表示包括来自多个图像观察结果的特定3D场景或对象的形状和外观。该3D模型表示是由3D模型生成单元生成的，该3D模型生成单元在每个训练迭代(例如，步骤)中使用参考图像和随机拓扑来学习形状和外观参数。在一个实施例中，对多个随机化拓扑进行采样以学习形状和外观参数。该拓扑由掩模指定，该掩模指示体网格(例如3D网格、填充四面体)中的哪些面(例如，三角形、四边形等)或单元被包括在拓扑中(例如，可见的、启用的、活动的、覆盖的)。学习该体网格的顶点位本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于构建三维3D模型的计算机实现的方法，包括：接收3D拓扑定义，所述3D拓扑定义识别体网格内的单元的面；根据参数处理所述3D拓扑和所述体网格以预测对应于参考3D模型的3D模型表示，其中所述3D模型表示包括由所述面的顶点位置和所述顶点位置之间的连接定义的表面网格；渲染所述3D模型表示以产生经渲染图像；将对应于所述经渲染图像的光线传输通过所述3D模型表示，以计算所述单元的概率值；以及基于所述概率值以及所述经渲染图像和所述参考3D模型的参考图像之间的差来更新所述参数，以减小所述差。2.根据权利要求1所述的计算机实现的方法，其中所述表面网格的所述面是不透明的。3.根据权利要求1所述的计算机实现的方法，进一步包括：渲染与不同相机位置或光照位置相关联的附加图像；将对应于附加的经渲染图像的附加光线传输通过所述3D模型表示，以计算所述单元的附加概率值；以及基于所述附加概率值以及所述附加的经渲染图像和所述参考3D模型的对应于所述不同相机位置或光照位置的附加参考图像之间的附加差来更新所述参数，以减小所述附加差。4.根据权利要求1所述的计算机实现的方法，其中所述3D模型表示包括空间变化的材料属性。5.根据权利要求1所述的计算机实现的方法，其中所述经渲染图像使用可微分渲染器产生，且所述差被反向传播通过所述可微分渲染器以更新所述参数。6.根据权利要求1所述的计算机实现的方法，其中每个概率值与所述单元中的每个单元的不同面相关联。7.根据权利要求1所述的计算机实现的方法，其中每个概率值与所述单元中的每个单元的所有面相关联。8.根据权利要求1所述的计算机实现的方法，其中所述处理、渲染、传输和更新包括训练迭代且进一步包括针对附加的3D拓扑定义重复所述训练迭代。9.根据权利要求8所述的计算机实现的方法，其中所述3D拓扑定义和附加的3D拓扑定义是针对每个训练迭代而随机生成的。10.根据权利要求8所述的计算机实现的方法，其中所述附加的3D拓扑定义中的至少一个是基于所述概率值而确定的。11.根据权利要求8所述的计算机实现的方法，其中所述体网格针对所述附加的3D拓扑定义中的至少一个进行细分。12.根据权利要求1所述的计算机实现的方法，其中所述体网格被初始化为统一的3D网格。13.根据权利要求1所述的计算机实现的方法，其中所述渲染和传输是并行执行的。14.根据权利要求1所述的计算机实现的方法，其中更新包括：使用所述概率值为所述经渲染图像中的每个像素计算像素概率值；以用于每个像素的所述概率值缩放用于该像素的所述差以计算积；以及
对所述积求和以生成图像损失。15.根据权利要求1所述的方法，其中所述体网格是密集体网格。16.一种系统，包括：处理器，其通过以下方式构建三维3D模型：接收3D拓扑定义，所述3D拓扑定...
【专利技术属性】
技术研发人员：J，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。