基于递归神经网络的结构化网格布局生成方法及设备技术

本申请公开了一种基于递归神经网络的结构化网格布局生成方法及设备，方法包括获取训练结构化网格布局的训练布局树；将训练布局树输入初始生成网络模型中的递归编码模块，得到训练潜在编码向量；将训练潜在编码向量输入变分自编码器生成感知编码向量；将感知编码向量输入初始生成网络模型中的递归解码模块得到预测布局树；基于训练布局树和预测布局树训练初始生成网络模型，得到生成网络模型；基于生成网络模型生成结构化网格布局

【技术实现步骤摘要】
基于递归神经网络的结构化网格布局生成方法及设备


[0001]本申请涉及计算机图像学
，特别涉及一种基于递归神经网络的结构化网格布局生成方法及设备
。

技术介绍

[0002]二维布局（
2D Layout
）指的是元素在场景或者文档中的抽象定位，布局可以包括文档
、
杂志
、
海报
、
图形用户界面（
GUI
）等不同的类型，被广泛应用于包装
、
广告
、
活动邀请和个人网站等等
。
在二维布局生成过程中，在生成布局过程中忽略了元素间全局关系或者多个元素间的相互关系，这使得生成方法在布局变化较大的数据集（如杂志数据集）上的生成能力较差
。
[0003]因而现有技术还有待改进和提高
。

技术实现思路

[0004]本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于递归神经网络的结构化网格布局生成方法及设备
。
[0005]为了解决上述技术问题，本申请实施例第一方面提供了一种基于递归神经网络的结构化网格布局生成方法，所述基于递归神经网络的结构化网格布局生成方法包括：获取预设训练数据集中的训练结构化网格布局的训练布局树；将所述训练布局树输入初始生成网络模型中的递归编码模块，通过所述递归编码模块对所述训练布局树进行编码，以得到训练潜在编码向量；将所述训练潜在编码向量输入变分自编码器，通过变分自编码器生成感知编码向量；将所述感知编码向量输入初始生成网络模型中的递归解码模块，通过递归解码模块对所述感知编码向量进行解码，以得到预测布局树；基于所述训练布局树和所述预测布局树对所述初始生成网络模型进行训练，以得到经过训练的生成网络模型；基于所述生成网络模型，生成结构化网格布局
。
[0006]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述递归编码模块包括几何编码器
、
类别编码器
、
元素编码器以及排列编码器，所述几何编码器和类别编码器均与所述元素编码器相连接，所述元素编码器用于对训练布局树中的叶子节点进行编码，所述排列编码器用于对训练布局树中的分支节点进行编码，其中，所述排列编码器包括水平排列编码器
、
垂直排布编码器以及堆叠排布编码器
。
[0007]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述递归编码模块包括几何解码器
、
类别解码器
、
元素解码器
、
排列解码器以及辅助分类器，所述几何解码器和类别解码器均与所述元素编解码器相连接，所述元素解码器用于对训练布局树中的叶子节点进行编码，所述排列解码器用于对训练布局树中的分支节点进行编码，其中，所述排列
解码器包括水平排列解码器
、
垂直排布解码器以及堆叠排布解码器，所述辅助分类器包括节点类型分类器和孩子判别器
。
[0008]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述生成网络模型对应的损失函数包括几何损失项
、
节点类别损失项
、
语义类别损失项
、
孩子节点判别损失项和训练潜在编码向量的散度损失项
。
[0009]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述获取预设训练数据集中的训练结构化网格布局的训练布局树具体包括：对于预设训练数据集中的训练结构化网格布局，采用水平和垂直递归拆分方式拆分将训练结构化网格布局划分为若干布局元素，并获取各布局元素间的排列关系；基于所述若干布局元素以及排列关系生成训练布局树，其中，所述训练布局树中的叶子节点用于布局元素的几何信息以及节点类型，所述训练布局树中的分支节点用于存储布局元素间的排列关系以及节点类型
。
[0010]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述布局元素的几何信息包括布局元素的位置信息以及尺寸信息，作为训练布局树中的第一个子节点的布局元素的位置信息为相对于训练结构化网格布局的包围盒的位置，作为训练布局树中的其余子节点的布局元素的位置信息为相对于其左邻右舍节点的位置信息
。
[0011]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述基于所述生成网络模型，生成结构化网格布局具体包括：获取用于生成结构化网格布局的潜在编码向量；基于所述潜在编码向量输入所述生成网络模型中的递归解码模块，通过递归解码模块结构化布局树；基于所述结构化布局树生成结构化网格布局
。
[0012]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述获取用于生成结构化网格布局的潜在编码向量具体包括：在所述生成网络模型对应的潜在编码空间中进行随机采样，以得到用于生成结构化网格布局的潜在编码向量
。
[0013]所述的基于递归神经网络的结构化网格布局生成方法，其中，所述获取用于生成结构化网格布局的潜在编码向量具体包括：获取第一结构化网格布局和第二结构化网格布局；获取所述第一结构化网格布局对应的第一布局树和所述第二结构化网格布局对应的第二布局树；将所述第一布局树和所述第二布局树分别输入所述生成网络模型中的递归编码模块，通过所述递归编码模块确定第一布局树对应的第一潜在编码向量和所述第二布局树对应的第二潜在编码向量；基于所述第一潜在编码向量和所述第二潜在编码向量，确定用于生成结构化网格布局的潜在编码向量
。
[0014]本申请实施例第二方面提供了一种终端设备，其包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上任一所述的基于递归神经网络
的结构化网格布局生成方法中的步骤
。
[0015]有益效果：与现有技术相比，本申请提供了一种基于递归神经网络的结构化网格布局生成方法及设备，所述方法包括获取预设训练数据集中的训练结构化网格布局的训练布局树；将所述训练布局树输入初始生成网络模型中的递归编码模块，通过所述递归编码模块对所述训练布局树进行编码，以得到训练潜在编码向量；将所述训练潜在编码向量输入变分自编码器，通过变分自编码器生成感知编码向量；将所述感知编码向量输入初始生成网络模型中的递归解码模块，通过递归解码模块对所述感知编码向量进行解码，以得到预测布局树；基于所述训练布局树和所述预测布局树对所述初始生成网络模型进行训练，以得到经过训练的生成网络模型；基于所述生成网络模型，生成结构化网格布局
。
本申请中的生成网络模型以递归方式自下而上的将结构化网格布局嵌入到潜在编码空间，以学习到结构化网格布局中的元素全局关系，然后再通过该潜在编码空间解码出结构化平面布局，这样可以提高网格布局的生成能力，特别是对于布局变化较大的数据集
。
附图说明
[0016]为了更清楚地说明本申请实施例中的技术方案，下面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于递归神经网络的结构化网格布局生成方法，其特征在于，所述基于递归神经网络的结构化网格布局生成方法包括：获取预设训练数据集中的训练结构化网格布局的训练布局树；将所述训练布局树输入初始生成网络模型中的递归编码模块，通过所述递归编码模块对所述训练布局树进行编码，以得到训练潜在编码向量；将所述训练潜在编码向量输入变分自编码器，通过变分自编码器生成感知编码向量；将所述感知编码向量输入初始生成网络模型中的递归解码模块，通过递归解码模块对所述感知编码向量进行解码，以得到预测布局树；基于所述训练布局树和所述预测布局树对所述初始生成网络模型进行训练，以得到经过训练的生成网络模型；基于所述生成网络模型，生成结构化网格布局
。2.
根据权利要求1所述的基于递归神经网络的结构化网格布局生成方法，其特征在于，所述递归编码模块包括几何编码器
、
类别编码器
、
元素编码器以及排列编码器，所述几何编码器和类别编码器均与所述元素编码器相连接，所述元素编码器用于对训练布局树中的叶子节点进行编码，所述排列编码器用于对训练布局树中的分支节点进行编码，其中，所述排列编码器包括水平排列编码器
、
垂直排布编码器以及堆叠排布编码器
。3.
根据权利要求1所述的基于递归神经网络的结构化网格布局生成方法，其特征在于，所述递归编码模块包括几何解码器
、
类别解码器
、
元素解码器
、
排列解码器以及辅助分类器，所述几何解码器和类别解码器均与所述元素编解码器相连接，所述元素解码器用于对训练布局树中的叶子节点进行编码，所述排列解码器用于对训练布局树中的分支节点进行编码，其中，所述排列解码器包括水平排列解码器
、
垂直排布解码器以及堆叠排布解码器，所述辅助分类器包括节点类型分类器和孩子判别器
。4.
根据权利要求1‑3任意一项所述的基于递归神经网络的结构化网格布局生成方法，其特征在于，所述生成网络模型对应的损失函数包括几何损失项
、
节点类别损失项
、
语义类别损失项
、
孩子节点判别损失项和训练潜在编码向量的散度损失项
。5.
根据权利要求1所述的基于递归神经网络的结构化网格布局生成方法，其特征在于，所述获取预...

【专利技术属性】
技术研发人员：徐鹏飞，施蔚然，胡昕，黄惠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：