从自然语言请求生成三维数字内容制造技术

本公开的实施例涉及从自然语言请求生成三维数字内容。公开了用于基于自然语言短语生成三维场景的方法、系统和非瞬态计算机可读存储介质。例如，所公开的系统可以对自然语言短语进行分析以确定涉及自然语言短语中的实体和命令的依赖性。然后，所公开的系统可以使用依赖性来生成自然语言短语的实体‑命令表示。附加地，所公开的系统可以从实体‑命令表示生成针对自然语言短语的语义场景图形，以指示实体和命令的上下文关系。此外，所公开的系统通过使用多个可用三维场景中的至少一个场景生成所请求的三维场景，多个可用三维场景使用自然语言短语的语义场景图形而被标识。

Generating 3D digital content from natural language request

【技术实现步骤摘要】
从自然语言请求生成三维数字内容
本公开的实施例涉及从自然语言请求生成三维数字内容。
技术介绍
计算设计、虚拟现实/增强现实(VR/AR)和机器人技术的最新进展对三维数字内容的要求越来越高。例如，许多计算机辅助设计或者VR/AR系统利用三维模型。高质量的三维模型可以显著改进在三维环境中的美学设计、真实感和沉浸感。常规的系统通常利用允许内容创建者使用各种工具来创建三维数字内容的软件应用。常规的软件应用提供高度的定制和精确度，从而允许内容创建者生成从基本的三维形状到具有许多三维对象的高度详细、复杂的三维场景的任何内容。虽然常规的系统向内容创建者提供了大量控制，但是这种应用具有大量工具来执行大量操作。因此，使用常规的系统来创建三维场景通常需要大量训练以学习使用内容创建工具，对于新用户而言，这可能提供了较高的进入壁垒。相应地，创建三维数字内容受内容创建者的专业知识和能力的限制。此外，即使当用户很熟练并且知识渊博时，常规的系统通常也需要在各种用户界面和/或各种控制菜单之间进行导航以便生成三维场景。因此，即使对于熟练并且知识渊博的用户而言，使用常规的系统来创建3D场景也是既耗时又低效的。关于用于创建三维数字内容的常规系统，存在这些以及其他缺点。
技术实现思路
一个或者多个实施例利用系统、方法和非瞬态计算机可读存储介质来提供益处和/或解决本领域中的前述或者其他问题中的一个或者多个问题，这些系统、方法和非瞬态计算机可读存储介质基于自然语言请求智能地生成三维数字内容。更特别地，所公开的系统包括生成现有3D场景的基于语言的表示的框架，该基于语言的表示对有关3D场景的几何信息和语义场景信息进行编码。当接收到生成或者修改3D场景的自然语言命令时，所公开的系统还生成自然语言短语的表示，该表示对几何信息和语义信息以及与命令的关系进行编码。然后，所公开的系统将自然语言表示映射至3D场景或者子场景的一个或者多个基于语言的表示。然后，所公开的系统使用所标识的3D场景或者子场景基于自然语言命令来生成或者修改3D场景。例如，在一个或者多个实施例中，所公开的系统对请求生成三维场景的自然语言短语进行分析，以确定涉及自然语言短语中的一个或者多个实体和/或命令的依赖性。具体地，所公开的系统利用涉及(多个)实体和(多个)命令的依赖性，来生成自然语言短语的实体-命令表示，该实体-命令表示用(多个)实体和(多个)命令的属性和关系来注释。此外，所公开的系统使用来自先前生成的三维场景的数据库的至少一个三维场景基于实体-命令表示来生成三维场景。具体地，所公开的系统可以通过使实体-命令表示与三维场景的语义场景图形相关，来从数据库中选择三维场景。因此，所公开的系统可以通过确定请求的允许与现有三维场景的表示相比较的表示，来从自然语言请求有效地、灵活地并且准确地生成三维场景。将在下面的描述中阐述本公开的一个或者多个实施例的附加特征和优点，并且本公开的一个或者多个实施例的附加特征和优点将部分地通过该描述而变得明显，或者可以通过实践这种示例实施例来学习本公开的一个或者多个实施例的附加特征和优点。附图说明将通过使用附图利用附加的特性和细节来描述和解释各种实施例，其中：图1图示了根据一种或者多种实现的三维3D建模系统可以在其中进行操作的示例环境；图2图示了根据一种或者多种实现的从自然语言短语生成三维场景的过程的示意图；图3A至图3C图示了根据一种或者多种实现的对自然语言短语进行解析的过程的示意图；图4A至图4C图示了根据一种或者多种实现的用于生成三维场景的不同实体-命令表示的示意图；图5图示了根据一种或者多种实现的选择先前生成的三维场景的示意图；图6A至图6C图示了根据一种或者多种实现的从一系列自然语言短语生成三维场景的实施例；图7图示了根据一种或者多种实现的图1所示三维3D建模系统的示意图；图8图示了根据一种或者多种实现的用于使用自然语言来合成三维场景的一系列动作的流程图；以及图9图示了根据一个或者多个实施例的示例性计算设备的框图。具体实施方式本公开的一个或者多个实施例包括基于自然语言的三维建模系统(也称为“基于自然语言的3D系统”或者简称为“3D建模系统”)，该三维建模系统基于自然语言请求来生成三维场景。例如，3D建模系统使用自然语言处理来对自然语言短语进行分析，并且确定涉及自然语言短语的分量的依赖性。特别地，3D建模系统可以确定短语中的各种名词和/或动词之间的关系，并且基于所确定的关系来生成短语的实体-命令表示。此外，3D建模系统还生成用于现有3D场景和子场景的语义场景图形。这些语义场景图形对有关3D场景的几何信息和语义场景信息进行编码。然后，3D建模系统将短语的实体-命令表示映射至现有三维场景的语义场景图形。3D建模系统使用所标识的三维场景来生成三维场景以满足自然语言短语中的请求。通过基于自然语言请求的实体-命令表示来生成语义场景图形，3D建模系统可以通过快速找到与请求的内容对应的现有三维场景来加速和简化生成三维场景的过程。如提到的，3D建模系统可以使用自然语言处理来对包括生成三维场景的请求的自然语言短语进行分析。在一个或者多个实施例中，3D建模系统使用自然语言处理来将自然语言短语变换为3D建模系统可以用于与现有三维场景的相似表示相比较的表示。具体地，3D建模系统对自然语言短语中的一个或者多个实体和一个或者多个命令进行标记，并且然后确定涉及实体和命令的依赖性。例如，3D建模系统可以通过对自然语言短语进行解析并且创建向短语中的每个令牌分配父令牌和注释标签的依赖树来确定依赖性。在一个或者多个实施例中，3D建模系统使用确定的依赖性来生成自然语言短语的实体-命令表示。具体地，3D建模系统将短语令牌的依赖性表示(例如，依赖树)转换为提供自然语言短语的分量及其关系的详细图形表示的实体-命令表示。为了进行说明，实体-命令表示可以包括用对应的属性和关系注释的实体的列表以及在实体上操作的命令动词的列表。在一个或者多个附加实施例中，3D建模系统确定包括相同概念请求的多个自然语言短语的规范实体-命令表示。例如，3D建模系统可以确定存在多个不同的方式来表达构建相同三维场景的请求。由于短语包括不同的解析结构，因此，3D建模系统针对每种形式创建不同的实体-命令表示。然后，3D建模系统可以选择描述形式的实体-命令表示作为规范的实体-命令表示，使得包括相同概念请求的未来请求利用规范的实体-命令表示。在生成自然语言短语的实体-命令表示之后，3D建模系统生成自然语言短语的语义场景图形。具体地，3D建模系统将实体-命令表示转换为语义场景图形以用于生成三维场景。例如，3D建模系统从实体-命令表示确定对象类别、实体计数、限定符(qualifier)和关系。为了进行说明，3D建模系统包括基于确定的信息的对象节点、关系节点和边缘节点以表示在请求的三维场景内的对象的相对定位和关系。使用为自然语言短语构造的3D场景图形，3D建模系统然后生成三维场景本文档来自技高网...

【技术保护点】
1.一种包括指令的非瞬态计算机可读介质，所述指令在由至少一个处理器执行时使计算机系统：/n使用自然语言处理对包括生成三维场景的请求的自然语言短语进行分析，以确定涉及所述自然语言短语的一个或者多个实体和一个或者多个命令的依赖性；/n使用所述一个或者多个实体和所述一个或者多个命令之间的所确定的所述依赖性，生成所述自然语言短语的实体-命令表示；并且/n通过使用基于所述自然语言短语的所述实体-命令表示而被标识的多个可用三维场景中的至少一个三维场景，生成所述三维场景。/n

【技术特征摘要】
20181113 US 16/189,6691.一种包括指令的非瞬态计算机可读介质，所述指令在由至少一个处理器执行时使计算机系统：
使用自然语言处理对包括生成三维场景的请求的自然语言短语进行分析，以确定涉及所述自然语言短语的一个或者多个实体和一个或者多个命令的依赖性；
使用所述一个或者多个实体和所述一个或者多个命令之间的所确定的所述依赖性，生成所述自然语言短语的实体-命令表示；并且
通过使用基于所述自然语言短语的所述实体-命令表示而被标识的多个可用三维场景中的至少一个三维场景，生成所述三维场景。


2.根据权利要求1所述的非瞬态计算机可读介质，进一步包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
将所述自然语言短语的所述实体-命令表示转换为语义场景图形，所述语义场景图形指示所述一个或者多个实体和所述一个或者多个命令的上下文关系，
其中使所述计算机系统生成所述三维场景的所述指令使所述计算机系统使用所述语义场景图形从与所述语义场景图形相对应的所述多个可用三维场景中选择三维场景。


3.根据权利要求2所述的非瞬态计算机可读介质，其中使所述计算机系统从与所述语义场景图形相对应的所述多个可用三维场景中选择所述三维场景的所述指令使所述计算机系统：
将所述自然语言短语的所述语义场景图形与所述多个可用三维场景的语义场景图形相比较；并且
从所述多个可用三维场景中标识具有与所述自然语言短语的所述语义场景图形相匹配的语义场景图形的三维场景。


4.根据权利要求2所述的非瞬态计算机可读介质，其中使所述计算机系统将所述自然语言短语的所述实体-命令表示转换为所述语义场景图形的所述指令使所述计算机系统：
将针对所述一个或者多个实体中的实体的基础名词映射到对象类别的对象节点中；并且
将与所述一个或者多个实体相对应的关系映射至关系节点，所述关系节点具有边缘，所述边缘指示与所述一个或者多个实体相对应的所述关系的方向。


5.根据权利要求4所述的非瞬态计算机可读介质，其中使所述计算机系统将所述自然语言短语的所述实体-命令表示转换为所述语义场景图形的所述指令使所述计算机系统添加所述基础名词的属性或者限定词作为对所述基础名词的所述对象节点的注释。


6.根据权利要求4所述的非瞬态计算机可读介质，其中使所述计算机系统将所述自然语言短语的所述实体-命令表示转换为所述语义场景图形的所述指令使所述计算机系统：
通过对场景数据库进行分析以对在所述对象类别中两个或者更多个实体实例的出现次数进行计数，确定针对所述对象类别的频率直方图；并且
通过对针对所述实体-命令表示的计数修饰语的分布进行采样，确定针对所述实体的要包括在所述三维场景中的多个对象，所述分布基于所述频率直方图被确定。


7.根据权利要求2所述的非瞬态计算机可读介质，其中使所述计算机系统使用所述语义场景图形从与所述语义场景图形相对应的所述多个可用三维场景中选择所述三维场景的所述指令使所述计算机系统访问包括先前生成的三维场景的数据库，所述先前生成的三维场景具有表示在所述先前生成的三维场景内的对象的布局的对应语义场景图形。


8.根据权利要求1所述的非瞬态计算机可读介质，进一步包括指令，所述指令在由所述至少一个处理器执行时使所述计算机系统：
以多种不同短语形式标识包括生成所述三维场景的请求的多个自然语言短语，所述多个自然语言短语包括经分析的所述自然语言短语，
其中使所述计算机系统生成所述自然语言短语的所述实体-命令表示的所述指令使所述计算机系统为所述多种不同短语形式的所述多个自然语言短语生成规范的实体-命令表示。


9.根据权利要求1所述的非瞬态计算机可读介质，其中使所述计算机系统生成所述自然语言短语的所述实体-命令表示的所述指令使所述计算机系统：
生成包括表示所述自然语言短语中的单词的多个令牌和与所述多个令牌相对应的依赖关系的依赖树；并且
将所述依赖树转换为：
包括用一个或者多个属性注释的一个或者多个实体以及与所述一个或者多个实体相对应的一种或者多种关系的实体列表；以及
包括在所述一个或者多个实体上操作的一个或者多个命令动词的命令列表。


10.在用于三维计算机建模的数字媒体环境中，一种用于使用自然语言合成三维场景的系统包括：
至少一个处理器；以及
非瞬态计算机存储器，包括：
先前生成的三维场景的数据库；以及
指令，所述指令在由所述至少一个处理器执行时使所述系统：
标识包括生成三维场景的请求的自然语言短语；
使用自然语言处理对包括生成三维场景的请求的自然语言短语进行分析，以将所述自然语言短语中的字符...

【专利技术属性】
技术研发人员：M·费希尔，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US