用于合成数据生成的场景结构的无监督学习制造技术

本发明专利技术公开了一种用于合成数据生成的场景结构的无监督学习。规则集或场景语法可用于生成表示场景中对象的结构和视觉参数的场景图形。渲染器可以将该场景图形作为输入并具有在场景图形中识别的资产的内容库，可以生成具有期望的场景结构的场景合成图像，而无需在场景中手动放置任何对象。以这种方式合成的图像或环境可用于，例如为真实世界的导航应用程序生成训练数据，以及为游戏或虚拟现实体验生成虚拟世界。虚拟世界。虚拟世界。

【技术实现步骤摘要】
用于合成数据生成的场景结构的无监督学习
[0001]相关申请的交叉引用
[0002]本专利申请要求于2020年3月6日提交的名称为“桥接模拟到真实的间隙：用于合成数据生成的场景结构的无监督学习(Bridging the Sim
‑
to
‑
Real Gap: Unsupervised Learning of Scene Structure for Synthetic Data Generation)”的美国临时专利申请序列号62/986,614的优先权，特此出于所有目的将其全文并入本文。

技术介绍

[0003]诸如游戏、动画和模拟之类的应用程序越来越依赖于更详细和逼真的虚拟环境。在许多情况下，过程模型被用于在这些环境中合成场景，以及创建用于机器学习的标记合成数据集。为了产生逼真的和多样化的场景，专家必须仔细调整控制程序模型的许多参数。这些参数既控制生成的场景的结构(例如，场景中有多少辆汽车)，也控制将对象置于有效配置中的参数。手动确定和调整这些参数以及配置这些场景的其他方面的知识的复杂性和知识量可能会限制广泛适用，并且还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：使用来自规则集的多个规则中的至少子集来生成场景结构，所述多个规则指定场景中的对象的类型之间的关系；确定所述场景结构中表示的所述对象中的一个或更多个的一个或更多个参数值；基于所述场景结构生成场景图形并包括所述参数值；以及将所述场景图形提供给渲染引擎以渲染所述场景的图像。2.根据权利要求1所述的计算机实现的方法，还包括：将对象相关内容的库提供给所述渲染引擎，所述对象相关内容的库将用于使用所述对象的所述一个或更多个参数值来渲染所述场景结构中表示的所述对象。3.根据权利要求1所述的计算机实现的方法，还包括：使所述渲染引擎包括对象标签或具有所述场景的所述图像的场景结构信息中的至少一个，其中所述图像能够被用作训练神经网络的训练数据。4.根据权利要求1所述的计算机实现的方法，还包括：接收指示所述规则或对象之一不被用于所述场景的输入；更新所述场景图形以反映所述输入；以及将经更新的场景图形提供给所述渲染引擎以渲染所述场景的经更新的图像。5.根据权利要求1所述的计算机实现的方法，还包括：利用所述规则集生成各种场景图形集；以及使用所述各种场景图形集生成虚拟环境。6.根据权利要求5所述的计算机实现的方法，其中所述虚拟环境是游戏环境，并且其中所述渲染引擎用于使用所述各种场景图形集针对与所述游戏环境相对应的游戏中的一个或更多个玩家来渲染所述游戏环境的一个或更多个图像。7.根据权利要求5所述的计算机实现的方法，还包括：在一个或更多个自主或半自主机器的一个或更多个测试模拟中利用所述虚拟环境。8.根据权利要求1所述的计算机实现的方法，其中以无监督方式从所述规则集生成所述场景结构，而无需一个或更多个输入图像上的数据注释。9.根据权利要求1所述的计算机实现的方法，还包括：将概率分配给所述规则集中的规则；以及通过根据所述概率对所述规则进行采样来选择所述多个规则的所述子集。10.根据权利要求9所述的计算机实现的方法，还包括：确定场景掩码以指示通过所述采样能够选择所述规则集中的哪一个或更多个规则。11.根据权利要求1所述的计算机实现的方法，还包括：使用迭代过程生成所述场景结构，其中在多个时间步长中的一个或更多个中，确定是否针对所述场景结构中的一个或更多个对象类型执行扩展，所述对象类型被定位在分层场景结构中的不同级别处。12.根据权利要求1所述的计算机实现的方法，其中生成模型被用于使用所述规则集生成所述场景结构。13.根据权利要求1所述的计算机实现的方法，还包括：生成潜在向量作为所述生成模型的输入，所述潜在向量具有等于所述规则集中的规则
数的长度。14.一种系统，包括：至少一个处理器；以及存储器，其包含指令，所述指令在由所述至少一个...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：辉达公司，
类型：发明
国别省市：