【技术实现步骤摘要】
本专利技术属于图像生成领域，尤其涉及一种多约束图形布局生成方法及系统。
技术介绍
1、平面设计是一个非常重要的视觉交流工具，它将丰富多彩的图像与简洁可读的文字结合在一起，形成特定的、具有美学倾向的视觉表达来吸引人们的注意力并传递信息。图形设计是平面设计的基础，图形设计巧妙地整合了不同的设计组件(例如，图像、文本、装饰等)，以创造出引人入胜的视觉效果，吸引注意力并传达信息。它被广泛地应用于各种媒体，如产品海报、杂志和互动应用界面。布局设计是平面设计的核心，目的是合理安排所有设计元素，包括确定每个元素的空间位置和尺寸。设计元素的位置和尺寸不仅取决于它们与前景中其他元素的关系，而且还受到背景图像的显著影响，特别是在海报和广告牌设计中。创建高质量的版面设计需要设计师在专业知识、审美判断和时间方面的大量投入，因此，一个高效的、一流的版面创建的自动化工具是非常重要的。
2、布局设计高度依赖于设计师的艺术审美和专业技能，其过程也是反复迭代、耗费时间的。近年来，布局自动生成领域受到了广泛关注，各种布局生成方法被提出。大多数方法认为，布局由其中的一系列设计元素组成，每个元素可以采用包含其类型信息和几何参数(大小、位置)的边界框来进行表示，由此可以将布局生成问题定义为预测布局中所有设计元素的边界框信息问题。
3、专利文献cn114564768a公开一种基于深度学习的端到端智能平面设计方法，包括：(1)采集半结构化的海报数据并进行清洗筛选后，分别存储海报的构图文本属性和背景图像，为智能平面设计模型提供所需的训练数据；(2)对智
4、学术文献layout generation and completion with self-attention[j].2020.首先对布局中设计元素的类型信息和几何参数都进行离散化处理，随后将所有的元素信息拼接为一个序列，利用transformer模型的自注意力机制来学习元素信息之间的关系，并根据上述关系来逐步预测剩余的元素信息，最终预测出整个元素信息序列，得到一个全新的布局。该方案能够从一个空序列或一个包含部分元素信息的序列生成一个新的布局，并且可以扩展到ui布局、文档布局、空间布局等多种布局生成任务中。但该方案在实施过程缺少指定约束，且十分依赖训练集质量和体量。因此最终生成的模型非常依赖启发式规则，无法保证输出结果的多样性。
5、这些研究主要专注于提高生成布局的质量，而忽略了设计师在现实世界中的需求。在实际工作环境中，设计人员通常需要创建具有域内和域间约束的布局。例如在海报设计任务中，要展示的产品主题是固定的，以背景图像的形式充当域间约束。同时，用于传达补充主题信息(例如，文本、标题)或增强视觉吸引力(例如，装饰、衬垫)的设计元素的数量和类别也是预先确定的，通常形成表示为设计序列的域内约束元素类别。
技术实现思路
1、本专利技术的目的在于提供一种多约束图形布局生成方法及系统，该方法在给定的约束条件下，以生成高质量的平面设计图。
2、为了实现本专利技术的第一个目的，提供了一种多约束图形布局生成方法，包括以下步骤：
3、获取背景图像和图形布局以构建对应的数据集，所述图形布局包括用于生成布局的元素边框序列和对应的约束条件，所述约束条件包括布局应用场景和元素类别序列；
4、构建基于transformer框架的布局生成网络，所述布局生成网络包括图像特征提取模块，布局潜在生成模块，离散潜在变量模块以及重构模块，所述图像特征提取模块用于将输入的背景图像划分为多个图像块，并将多个图像块进行连接以输出对应的二维图像特征序列，所述布局潜在生成模块包括编码器，所述编码器用于二维图像特征序列中的元素类别序列、元素边框序列和应用场景映射到d维空间中，生成对应的布局潜在表示，所述离散潜在变量模块包括解码器，所述解码器用于对生成的布局潜在表示进行离散化处理，获得对应的布局离散潜在表示，所述重构模块基于输入的类别序列和应用场景，以及生成的布局离散潜在表示，输出元素边框序列；
5、利用数据集对布局生成网络进行训练，以获得用于生成平面布局约束的布局生成模型；
6、将待布局生成的背景图像，元素类别序列以及应用场景输入至布局生成模型，以输出对应的元素边框序列，并基于所述元素边框序列构建满足元素类别和应用场景约束的平面设计图。
7、本专利技术通过将待处理的背景图像作为输入进行二维图像特征序列的生成，以突出每个图像块之间的相对位置信息，从而为后续数据的潜在离散重构提供更加准确的指导，进一步提高重构后平面设计图的质量。
8、具体的，所述元素边框序列包括元素的位置坐标，宽度和高度。
9、具体的，所述布局生成模型的训练过程如下：
10、构建训练集，其包括用于生成布局的元素边框序列和对应的约束条件，所述约束条件包括元素类别序列和应用场景；
11、构建基于元素约束的生成网络，所述生成网络包括特征提取模块，离散潜在变量生成模块，以及重构模块；
12、所述特征提取模块包括编码器，用于将输入的真实布局中的元素类别序列、元素边框序列和应用场景映射到d维空间中，生成对应的布局潜在表示，所述离散潜在变量生成模块包括解码器，用于对提取的布局潜在表示进行离散化处理，获得对应的布局离散潜在表示，所述重构模块，基于输入的类别序列和应用场景，以及提取的布局离散潜在表示，重构出输入的真实布局中对应的元素边框序列；
13、利用训练集对生成网络进行训练，并保留训练过程中生成的布局离散潜在表示，以及训练获得的重构模块；
14、以元素类别序列和应用场景作为输入约束构建单向transformer框架，利用背景图像和保留的布局离散潜在表示对所述单向transformer框架进行训练，以获得获得满足输入约束条件的布局离散潜在表示；
15、将训练获得的单向transformer框架作为约束条件的输入端，将单向transformer框架输出的布局离散潜在表示作为所述重构模块的输入，以通过对布局离散潜在表示解码获得满足输入约束条件的元素边框序列。
16、具体的，在训练过程中，采用多阶段的损失函数进行训练，其包括第一阶段对编码器和解码器进行训练，以及第二阶段对transformer框架进行训练；
17、第一阶段的损失函数表达式如下：
18、
19、式中，zq(x)表示布局离散潜在表示，β表示超参数，表示承诺损失项，ze(x)表示布局潜在表示，sg表示停止本文档来自技高网...
【技术保护点】
1.一种多约束图形布局生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述元素边框序列包括元素的位置坐标，宽度和高度。
3.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述布局生成模型的训练过程如下：
4.根据权利要求1或3所述的多约束图形布局生成方法，其特征在于，在训练过程中，采用多阶段的损失函数进行训练，其包括第一阶段对编码器和解码器进行训练，以及第二阶段对Transformer框架进行训练；
5.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述图像特征提取模块通过将输入的背景图像划分为多个图像块，依次将图像块进行连接以获得对应的扁平二维序列，并通过ViT算法以生成对应的图像序列。
6.根据权利要求5所述的多约束图形布局生成方法，其特征在于，所述扁平二维序列的表达式如下：
7.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述离散潜在变量模块依据VQ-VAE理论，采用解码器将布局潜在表示转换为空间e＝[e1,e2…,ek]
8.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述重构模块采用双向自回归编码器为布局中的每个设计元素重建元素类别和元素边框，其表达式如下：
9.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述布局生成模型的表达式如下：
10.一种多约束图形布局生成系统，其特征在于，通过权利要求1～9任一项所述的多约束图形布局生成方法实现，包括：
...【技术特征摘要】
1.一种多约束图形布局生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述元素边框序列包括元素的位置坐标，宽度和高度。
3.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述布局生成模型的训练过程如下：
4.根据权利要求1或3所述的多约束图形布局生成方法，其特征在于，在训练过程中，采用多阶段的损失函数进行训练，其包括第一阶段对编码器和解码器进行训练，以及第二阶段对transformer框架进行训练；
5.根据权利要求1所述的多约束图形布局生成方法，其特征在于，所述图像特征提取模块通过将输入的背景图像划分为多个图像块，依次将图像块进行连接以获得对应的扁平二维序列，并通过vit算法以生成对应的图像序列。
【专利技术属性】
技术研发人员：陈柳青，曾怡欣，景千芝，孙凌云，周婷婷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。