一种数据获取方法技术

本发明专利技术涉及涉及图像处理技术领域，具体提供一种用于海报生成模型的样本数据获取方法

【技术实现步骤摘要】
一种数据获取方法、模型训练方法和海报生成的方法


[0001]本专利技术涉及图像处理
，具体提供一种用于海报生成模型的样本数据获取方法
、
模型训练方法
。

技术介绍

[0002]海报设计是视觉传达的表现形式之一，通过版面的构成在第一时间内将人们的目光吸引，并获得瞬间的刺激，这要求设计者要将图片
、
文字
、
色彩
、
空间等要素进行完美的结合，以恰当的形式向人们展示出宣传信息
。
[0003]海报是人们极为常见的一种招贴形式，多用于电影
、
戏剧
、
比赛
、
文艺演出等活动
。
海报中通常要写清楚活动的性质，活动的主办单位
、
时间
、
地点等内容
。
海报的语言要求简明扼要，形式要做到新颖美观
。
[0004]正规的海报中通常包括活动的性质
、
主办单位
、
时间
、
地点等内容，多用于影视剧和新品宣传中，利用图片
、
文字
、
色彩
、
空间等要素进行完整的结合
。
[0005]现有技术中，对于带有文字的海报图片生成，或其他带有文字的图片生成通常采用以下两种方式：
[0006]1.
基于模板的海报生成
[0007]常见平台如：包图网
、
图怪兽等，平台拥有大量模板，用户可基于现有模板对模板中元素进行修改
、
替换等操作
[0008]2.
基于端到端的生成式模型
[0009]常见平台如：
Stable Diffusion、Midjourney
等，采用纯生成式模型进行图片产出
。
[0010]上述两种方式都存在一定缺点，分析如下：
[0011]1.
基于模板的海报生成
[0012]①
平台需要大量模板积累；
[0013]②
拼凑较为死板，对素材文件具有较高质量要求；
[0014]③
交互方式复杂，对使用者具有一定要求
。
[0015]3.
基于端到端的生成式模型
[0016]①
内容不受控，无法做到产品图片保真；
[0017]②
尽管交互方便，反而使用者具有较高要求，需要文字控制能力；
[0018]③
生成的海报中无法包含目标问题，仍需二次加工填上品牌名称
。
[0019]针对这一现状，需要研发一种能够对原始的产品图进行保真生成的海报生成方法
。

技术实现思路

[0020]为了克服上述缺陷，本专利技术针对带有文字的海报图片生产，公开了一种数据获取方法
、
模型训练方法和海报生成的方法，加强了生成图片的保真
。
[0021]在第一方面，本专利技术提供一种用于海报生成模型的样本数据获取方法，包括：
[0022]获取图文结合的海报作为样本图片；
[0023]识别所述样本图片中的目标元素，得到目标元素标记图；其中，所述目标元素包括文字元素和图像元素；
[0024]基于所述目标元素标记图，得到用于描述样本图片风格的提示词；
[0025]根据目标元素标记图的排版方式，切割出目标元素并排版得到布局图
。
[0026]进一步地，所述识别所述样本图片中的目标元素，得到目标元素标记图包括：
[0027]根据每个目标元素的轮廓，输出用于识别每个所述目标元素的最小包围框，得到包含所述包围框的样本图片
。
[0028]进一步地，所述文字元素包括若干级标题文字；
[0029]所述图像元素包括主体图像和
logo
图像
。
[0030]进一步地，所述基于所述目标元素标记图，得到用于描述样本图片风格的提示词包括：
[0031]获取样本图片的完整描述词；
[0032]分别获取所述目标元素标记图中每个目标元素的描述词；
[0033]根据所述完整描述词与所有目标元素描述词总和之间的差别，得到提示词
。
[0034]进一步地，所述提示词包括：
[0035]样本图片的背景颜色
、
图文主题
、
气氛渲染背景和目标元素的布局方式
。
[0036]进一步地，所述根据目标元素标记图的排版方式，切割出目标元素并排版得到布局图还包括：
[0037]将所述目标元素标记图中标记的文字元素设置为打印体字符；
[0038]将不同目标元素设置不同背景颜色
。
[0039]在第二方面，本专利技术提供一种海报生成模型的训练方法，
[0040]包括：
[0041]根据所述样本数据获取方法获得的提示词和布局图；
[0042]根据所述提示词和布局图对待训练的生成模型进行训练
。
[0043]进一步地，所述根据所述提示词和布局图对待训练的生成模型进行训练包括：
[0044]将所述提示词和布局图输入待训练的海报生成模型；
[0045]将所述提示词通过文本编码转化为文本特征向量；
[0046]将所述布局图通过图像编码转化为图像特征向量；
[0047]将所述文本特征向量和图像特征向量进行特征融合，得到融合特征；
[0048]将所述融合特征解码后得到生成海报；
[0049]将所述样本图片作为第一真值，通过预设的第一损失函数，对所述生成海报计算第一损失；
[0050]基于所述第一损失进行反向传播以对所述海报生成模型的参数进行更新，完成当前轮迭代训练
。
[0051]进一步地，所述根据所述提示词和布局图对待训练的生成模型进行训练还包括：
[0052]将所述生成海报经过版面分析模型得到第一目标元素标记图；
[0053]将所述样本图片经过版面分析模型得到第二目标元素标记图；
[0054]将所述第二目标元素标记图作为第二真值，以所述第一目标元素标记图为第一生成值，通过预设的第二损失函数，计算第二真值和第一生成值之间差异，进行反向传播以对所述海报生成模型的参数进行更新，完成当前轮迭代训练
。
[0055]进一步地，所述根据所述提示词和布局图对待训练的生成模型进行训练还包括：
[0056]将所述第一目标元素标记图经过文字识别模型得到第一文字元素；
[0057]将所述第二目标元素标记图经过文字识别模型得到第二文字元素；
[0058]将所述第二文字元素作为第三真值，以所述第一文字元素为第二生成值，通过第三损失函数计算第三真值和第二生成值之间差异，进行反向传播以对所述海报生成模型的参数进行更新，完成当前轮迭代训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于海报生成模型的样本数据获取方法，其特征在于，包括：获取图文结合的海报作为样本图片；识别所述样本图片中的目标元素，得到目标元素标记图；其中，所述目标元素包括文字元素和图像元素；基于所述目标元素标记图，得到用于描述样本图片风格的提示词；根据目标元素标记图的排版方式，切割出目标元素并排版得到布局图
。2.
根据权利要求1所述的方法，其特征在于，所述识别所述样本图片中的目标元素，得到目标元素标记图包括：根据每个目标元素的轮廓，输出用于识别每个所述目标元素的最小包围框，得到包含所述包围框的样本图片
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述目标元素标记图，得到用于描述样本图片风格的提示词包括：获取样本图片的完整描述词；分别获取所述目标元素标记图中每个目标元素的描述词；根据所述完整描述词与所有目标元素描述词总和之间的差别，得到提示词
。4.
一种海报生成模型的训练方法，其特征在于，包括：根据权利要求1‑3任一项样本数据获取方法获得的提示词和布局图；根据所述提示词和布局图对待训练的生成模型进行训练
。5.
根据权利要求4所述的训练方法，其特征在于，所述根据所述提示词和布局图对待训练的生成模型进行训练包括：将所述提示词和布局图输入待训练的海报生成模型；将所述提示词通过文本编码转化为文本特征向量；将所述布局图通过图像编码转化为图像特征向量；将所述文本特征向量和图像特征向量进行特征融合，得到融合特征；将所述融合特征解码后得到生成海报；将所述样本图片作为第一真值，通过预设的第一损失函数，对所述生成海报计算第一损失；基于所述第一损失进行反向传播以对所述海报生成模型的参数进行更新，完成当前轮迭代训练
。6.
根据权利要求5所述的方法，其特征在于，所述根据所述提示词和布局图对待训练的生成模型进行训练还包括：将所述生成海报经过版面分析模型得到第一目标元素标记图；将所述样本图片经过版面分析模型得到第二目标元素标记图；将所述第二...

【专利技术属性】
技术研发人员：杨万征，郜海礁，
申请(专利权)人：北京天阙科技有限公司，
类型：发明
国别省市：