在图形设计文档中自动生成语义层制造技术

本公开的实施例涉及在图形设计文档中自动生成语义层。公开了用于在图形设计系统中创建并管理语义层的实施例。一种创建并管理语义层的方法，包括：接收对要被生成的内容类型的选择，接收对数字画布中的用以放置该内容类型的内容的位置的选择，使用一个或多个机器学习模型在数字画布中的该位置处生成所选择的内容类型的内容，以及基于与该内容相关联的语义标签向与数字画布相关联的层自动添加该内容。标签向与数字画布相关联的层自动添加该内容。标签向与数字画布相关联的层自动添加该内容。

【技术实现步骤摘要】
在图形设计文档中自动生成语义层

技术介绍

[0001]近年来，用于实现人工智能和机器学习模型的计算机系统已有了显著的改进。例如，计算机系统可以实现机器学习模型(诸如，神经网络模型)，以标识数字图像中所描绘的对象，生成数字动画和其他内容等。这样的进步是由于与训练数据来源和生成、特征工程、模型工程(例如，对机器学习架构和参数的修改)、模型训练和改进模型操作相关的许多因素造成的。
[0002]结果是，出于各种目的，越来越多地应用机器学习。例如，诸如图形设计应用等图形编辑系统包括用于用户创建和编辑视觉构图(也被称为“图形”或“图形设计”)的工具。例如，机器学习使得自动内容生成能够作为工具添加到这样的图形设计应用中。然而，这样的应用的设计并没有考虑到机器学习。如此，虽然机器学习可以集成到应用中以扩展其功能，但是图形设计应用基本上仍然是常规的应用，它没有像完全集成的基于机器学习的图形设计应用那样充分利用机器学习的能力。

技术实现思路

[0003]在此介绍的是使得能够使用语义层来管理图形设计文档的技术/技能。在一些实施例中，一种图形设计系统使得能够使用语义绘制工具来生成内容。这样的工具允许用户选择内容类型，然后通过例如在数字画布(digital canvas)上绘制内容纹理、从内容库拖放内容模型等方式将内容添加到绘图。在添加这样的内容时，将使用与内容相关联的机器学习模型来生成被添加的内容。因为绘图工具是语义感知的，所以关于添加到绘图的内容的语义信息是已知的。因此，图形设计系统为新内容创建语义层，该语义层包括关于内容的语义信息。/>[0004]在一些实施例中，语义信息被用于为绘图生成语义上下文。语义上下文用于标识文档中的空间、风格或其他错误或不一致。例如，可以基于内容在绘图中的添加位置以及与该位置相邻的内容来自动缩放内容。另外，可以基于语义上下文来分析层的z顺序，并且基于层的内容修改层的z次序。
[0005]在一些实施例中，语义信息还可以用于在语义上组织绘图。例如，场景图表示绘图的层和/或内容以及这些层如何相关。使用语义场景图，用户可以更容易地选择用于由层进行的编辑或其他操作。另外，语义场景图提供了绘图的经组织的摘要，这对于可能具有附加的工作要添加到绘图的其他用户更有用。
[0006]本公开的示例性实施例的附加的特征和优点将在以下的描述中被阐述，并且部分将根据描述而显而易见，或者可以通过这样的示例性实施例的实践而被获知。
附图说明
[0007]参考附图描述详细说明，在附图中：
[0008]图1示出了根据一个或多个实施例的基于机器学习的内容创建的过程的示图；
[0009]图2示出了根据一个或多个实施例的语义绘制工具的用户界面的示例；
[0010]图3
‑
图5示出了根据一个或多个实施例的基于语义信息来管理层的z顺序的示例；
[0011]图6示出了根据一个或多个实施例的层管理器的示图；
[0012]图7示出了根据一个或多个实施例的用于提供内容建议的用户界面的示例；
[0013]图8示出了根据一个或多个实施例的内容推荐系统的示例；
[0014]图9示出了根据一个或多个实施例的图形设计系统的示意图；
[0015]图10示出了根据一个或多个实施例的基于机器学习的内容生成方法中的一系列动作的流程图；
[0016]图11示出了根据一个或多个实施例的基于语义信息的内容剪裁过程的示图；
[0017]图12示出了根据一个或多个实施例的大小调节错误的示例；
[0018]图13示出了根据一个或多个实施例的新内容的自动大小调节的示例；
[0019]图14示出了根据一个或多个实施例的新内容的自动大小调节的备选示例；
[0020]图15示出了根据一个或多个实施例的图形设计应用中的内容剪裁的示例；
[0021]图16示出了根据一个或多个实施例的图形设计系统的示意图；
[0022]图17示出了根据一个或多个实施例的基于语义信息的内容剪裁方法中的一系列动作的流程图；
[0023]图18示出了根据一个或多个实施例的分层语义层组织的过程的示图；
[0024]图19示出了根据一个或多个实施例的语义场景图的示例；
[0025]图20示出了根据一个或多个实施例的图形设计系统的示意图；
[0026]图21示出了根据一个或多个实施例的分层语义层组织方法中的一系列动作的流程图；
[0027]图22示出了根据一个或多个实施例的图像处理系统可以在其中操作的示例性环境的示意图；以及
[0028]图23示出了根据一个或多个实施例的示例性计算设备的框图。
具体实施方式
[0029]本公开的一个或多个实施例包括一种基于机器学习的图形设计系统，该系统在绘制时在语义上组织用户的图形设计项目。例如，很多图形编辑系统允许用户创建和编辑单独的内容层，以修改其图形组件的对应的视觉特征或位置。为了说明，图形编辑系统可以包括图形设计应用，用户可以选择通过层添加元素、组织元素和/或修改图形的所有或部分元素的特征(例如，颜色、照明等)。然而，层的管理和组织通常留给用户，这表示它们常常未得到充分利用，甚至会增加文档导航的复杂性。
[0030]实施例提供语义层，其包括知道其内容的层。与用户手动绘制内容的传统图形设计工具不同，语义图形设计工具允许特定类型的内容基于用户输入而被生成(例如，使用机器学习、内容库等)。例如，用户可以使用“草”绘制工具绘制数字画布的一个区域，并且该区域将填充生成的草。这样的语义工具固有地携带关于正在创建的内容的附加的信息，而传统设计工具可以只知道某些属性(例如，光栅设计工具中的像素特性；矢量设计工具中矢量属性等)。
[0031]使用该信息，图形设计系统根据用户与绘图的交互来自动生成语义层。这使得图形设计系统能够为用户组织绘图，而不需要附加的输入。这可以包括对相似内容的层进行
分组或合并，基于层的内容以适当的z顺序布置层，基于内容在绘图中的位置以及任何相邻内容或层等自动调节内容的大小。另外，根据该语义上下文，图形设计系统可以应用内容剪裁规则。与传统的剪裁相似，在分析代码的编程或风格错误时，内容剪裁基于绘图的语义上下文来确定绘图的层和/或内容之间的空间、语义或其他不一致性。
[0032]另外，语义信息可以用于分层组织绘图。例如，场景图表示绘图的层以及这些层如何相关。使用语义信息，这些关系可以包括捕获不同层的内容如何彼此相关的语义关系。使用语义场景图，用户可以更容易地选择层以进行编辑或其他操作。另外，语义场景图提供了绘图的经组织的摘要，这对于可能具有附加的工作要添加到绘图的其他用户更有用。这对于远程团队正在处理的协作文档尤其有用，因为附加的上下文非常有用。
[0033]图1示出了根据一个或多个实施例的基于机器学习的内容创建的过程的示图。如图1中所示，图形设计系统100可以从用户、系统、应用或其他实体接收一个或多个输入选择102(数字1)。图形设计系统100包括语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收对要被生成的内容类型的选择；接收对数字画布中的用以放置所述内容类型的内容的位置的选择；使用一个或多个机器学习模型，在所述数字画布中的所述位置处生成所选择的所述内容类型的内容；以及基于与所述内容相关联的语义标签来向与所述数字画布相关联的层自动添加所述内容。2.根据权利要求1所述的方法，其中基于与所述内容相关联的语义标签来向与所述数字画布相关联的层自动添加所述内容还包括：生成与所述内容相关联的新层，其中所述数字画布与多个层相关联，所述多个层与所述内容类型相关联。3.根据权利要求2所述的方法，还包括：响应于生成所述新层，基于与所述内容相关联的所述语义标签并且基于与所述多个层相关联的一个或多个语义标签来确定所述多个层和所述新层的新z顺序。4.根据权利要求3所述的方法，其中确定所述多个层和所述新层的新z顺序还包括：使用所述语义标签，基于一个或多个语义排序规则来确定所述新z顺序。5.根据权利要求3所述的方法，还包括：接收用户输入，所述用户输入指示针对所述新层的z顺序放置；以及基于所述用户输入来确定第二新z顺序。6.根据权利要求2所述的方法，还包括：将与所述内容类型相关联的所述多个层组合成一组层，其中每个层包括与所述内容类型相关联的内容。7.根据权利要求6所述的方法，其中所述一组层包括基于一个或多个内容类型在语义上被组织的层的层级。8.根据权利要求1所述的方法，其中基于与所述内容相关联的语义标签来向与所述数字画布相关联的层自动添加所述内容还包括：标识与所述内容类型相关联的现有层；以及向所述现有层添加所述内容。9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括被存储在其上的指令，所述指令在由至少一个处理器执行时使所述至少一个处理器：接收对要被生成的内容类型的选择；接收对数字画布中的用以放置所述内容类型的内容的位置的选择；使用一个或多个机器学习模型，在所述数字画布中的所述位置处生成所选择的所述内容类型的内容；以及基于与所述内容相关联的语义标签来向与所述数字画布相关联的层自动添加所述内容。10.根据权利要求9所述的非暂态计算机可读存储介质，其中为了基于与所述内容相关联的语义标签来向与所述数字画布相关联的层自动添加所述内容，所述指令在被执行时还使所述至少一个处理器：
生成与所述内容相关联的新层，其中所述数字画布与多个层相关联，所述多个层与所述内容类型相关联。11.根据权利要求10所述的非暂态计算机可读存储介质，其中所述指令在被执行时还使所述至少一个处理器：响应于生成所述新层，基于与所述内容相...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：