【技术实现步骤摘要】
本专利技术属于人工智能领域，尤其涉及一种海报自动排版模型的训练方法、训练模型和海报自动排版方法。
技术介绍
1、海报是目前非常重要的信息传递媒介，其中涉及背景的设计、前景元素的绘制、前景文字的排版等过程。一方面，海报及海报中的元素制作过程中需要用到一个或多个专业设计工具，依靠人工智能算法的自动排版模型，首先需要收集大量海报，并完成每张海报中元素的标注。另一方面，由于海报的视觉呈现效果很大程度上依靠专业设计人员的设计经验，除了图片、文字这些相对独立的元素设计以外，元素之间的错落有致的排版也起到重要作用。
2、现有技术的主要缺陷在于：（1）海报的标注包括背景图层和前景图层的分离、前景元素的位置标注、前景文字的字体标注、前景文字的内容标注等，对于一张可能拥有数个甚至数十个前景元素的海报来说，标注一张海报的成本远高于标注一般的图片；（2）目前少有公开的针对海报自动排版的算法模型，在仅有的一些工作中，大部分也针对的是前景元素的排版，而海报的前景元素的排版不仅要考虑元素与元素之间的关系，也要考虑元素和背景图片整体构图的关系。现有算法工作的另一个问题在于，在忽略掉了大量前景元素的信息的前提下实现海报的自动排版。特别是针对文字的排版，需要考虑文字的字体、文字的内容等信息，才能更合理地实现局部排版。
3、基于以上，本申请提供了解决以上技术问题的技术方案。
技术实现思路
1、针对现有技术中海报数据标注困难、海报自动排版考虑信息不足的场景，本专利技术提供了一种海报排版模型的训练方
2、步骤s1、获取成品海报数据集、海报前景文字排版数据集；
3、步骤s2、获取预训练隐变量扩散模型的文本-图像修补模型和预训练光学字符识别模型；
4、步骤s3、基于所述预训练隐变量扩散模型的文本-图像修补模型，输入所述海报前景文字排版数据集，得到海报背景图；
5、步骤s4、将所述海报前景排版数据集输入所述预训练光学字符识别模型，得到处理后的海报前景文字排版数据集；
6、步骤s5、建立海报自动排版模型l1，并基于所述海报背景图、所述处理后的海报前景排版数据集训练海报自动排版模型l1，得到完成训练的海报自动排版模型l。
7、在本专利技术的一个优选实施方式中，步骤s3还包括：
8、步骤s3.1、将海报前景文字排版转化为前景掩膜；
9、步骤s3.2、将成品海报与前景掩膜相乘，获得经掩膜过滤的成品海报
10、步骤s3.3、将经掩膜过滤的成品海报输入预训练隐变量扩散模型的文本-图像修补模型；
11、步骤s3.4、输入预定文本，生成海报背景图。
12、在本专利技术的一个优选实施方式中，步骤s4还包括：
13、步骤s4.1、框选出海报前景文字；
14、步骤s4.2、将框选出来的文字部分图像进行适当缩放，使其能被预训练光学字符识别模型正确识别；
15、步骤s4.3、将缩放后的海报前景文字输入预训练光学字符识别模型；
16、步骤s4.4、预训练光学字符识别模型输出带有字体标签和文字内容的海报前景文字排版数据集。
17、在本专利技术的一个优选实施方式中，步骤s4.2还包括像素恢复步骤和置信度阈值筛选步骤：
18、所述像素恢复步骤包括：若海报中文字分辨率大于预定最大阈值，则将文字缩小至预训练光学字符识别模型预训练时的平均分辨率，若海报中文字分辨率小于预定最小阈值，则经过超分辨率放大至预训练光学字符识别模型预训练时的最小分辨率；
19、置信度阈值筛选步骤包括：若文字置信度大于置信度阈值，取置信度最大的标签作为当前文字的字体标签；若文字的最大置信度仍小于置信度阈值，则采用人工标注的方式完成字体标签标记。
20、在本专利技术的一个优选实施方式中，在步骤s4之后还包括：
21、步骤a：获取预训练文本编码器，对海报文字排版数据集的文字内容进行编码，获得文本内容特征向量。
22、在本专利技术的一个优选实施方式中，步骤s5还包括：
23、所述海报自动排版模型l基于transformer结构，
24、步骤s5.1、将所述海报背景图与所述文本内容特征向量输入所述海报自动排版模型l，输出与所有前景文本对应的排版框和字体标签；
25、步骤s5.2、引入交叉注意力和自注意力机制，计算海报背景图与输入前景文本内容特征向量相关性与海报背景图自身相关性，根据海报自动排版模型l输出的结果对海报前景文本进行排版和渲染。
26、在本专利技术的一个优选实施方式中，步骤s5.1中，输出内容包括坐标（x，y）、宽高（w，h）、以及字体类别标签；
27、步骤s5.2中，还包括：对所述海报自动排版模型l采用匈牙利匹配损失、约束框损失、分类损失，依照坐标、宽高和字体类别标签c，在海报背景图上对海报前景文本进行排版和渲染。
28、在本专利技术的一个优选实施方式中，还包括：
29、匈牙利匹配损失计算式如下：
30、；
31、约束框损失计算式如下：
32、；
33、分类损失计算式如下：
34、；
35、其中，；
36、n为预测的海报前景文本框实例数量；m为海报文字字体数量；为第i个文本框真实约束框坐标和宽高；为真实文本元素与预测的文本框之间的索引序列；为第个索引的海报文本框坐标宽高；为符函数第i个文本框的真实类别，如真实类别为c则取1，反之取0；为预测的索引为的文本框字体类别属于c的预测概率。
37、本专利技术还提供一种海报排版模型的训练模型，包括以下模块：
38、获取数据集模块，用于获取成品海报数据集、海报前景文字排版数据集模块；
39、获取模型模块，用于预训练隐变量扩散模型的文本-图像修补模型和预训练光学字符识别模型；
40、海报前景获取模块，基于所述预训练隐变量扩散模型的文本-图像修补模型，输入所述海报前景文字排版数据集，得到海报背景图；
41、海报标记模块，将所述海报前景排版数据集输入所述预训练光学字符识别模型，得到处理后的海报前景文字排版数据集；
42、海报自动排版模型训练模块，建立海报自动排版模型l1，并基于所述海报背景图、所述处理后的海报前景排版数据集训练海报自动排版模型l1，得到完成训练的海报自动排版模型l。
43、本专利技术还提供一种海报排版方法，采用海报自动排版模型l，将待排版数据输入海报自动排版模型l，由模型输出完成排版的海报，其中，海报自动排版模型l由前述的海报自动排版模型的训练方法训练而成。
44、本专利技术能够带来以下至少一种有益效果：
45、（1）本专利技术通过预训练隐变量扩散模型的文本-图像修补模型和预训练光学字符识别模型，实现低成本的海报逆向结构化，获得大量解构之后的海报数据；
【技术保护点】
1.一种海报排版模型的训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的海报排版模型的训练方法，其特征在于，步骤S3还包括：
3.根据权利要求1所述的海报排版模型的训练方法，其特征在于，步骤S4还包括：
4.根据权利要求3所述的海报排版模型的训练方法，其特征在于，步骤S4.2还包括像素恢复步骤和置信度阈值筛选步骤：
5.根据权利要求1所述的海报排版模型的训练方法，其特征在于，在步骤S4之后还包括：
6.根据权利要求5所述的海报排版模型的训练方法，其特征在于，步骤S5还包括：
7.根据权利要求6所述的海报排版模型的训练方法，其特征在于，
8.根据权利要求7所述的海报排版模型的训练方法，其特征在于，还包括：
9.一种海报排版模型的训练模型，其特征在于，包括以下模块：
10.一种海报排版方法，其特征在于，采用海报自动排版模型L，将待排版数据输入海报自动排版模型L，由模型输出完成排版的海报，其中，海报自动排版模型L由权利要求1-8中任一项所述的海报自动排版模型的训练方法
...【技术特征摘要】
1.一种海报排版模型的训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的海报排版模型的训练方法，其特征在于，步骤s3还包括：
3.根据权利要求1所述的海报排版模型的训练方法，其特征在于，步骤s4还包括：
4.根据权利要求3所述的海报排版模型的训练方法，其特征在于，步骤s4.2还包括像素恢复步骤和置信度阈值筛选步骤：
5.根据权利要求1所述的海报排版模型的训练方法，其特征在于，在步骤s4之后还包括：
6.根据权利要求5所述的海报...
【专利技术属性】
技术研发人员：章伟希，
申请(专利权)人：北京汉仪创新科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。