当前位置: 首页 > 专利查询>四川大学专利>正文

基于扩散模型的工笔人物画生成方法、系统及存储介质技术方案

技术编号:43916400 阅读:23 留言:0更新日期:2025-01-03 13:22
本发明专利技术公开了一种基于扩散模型的工笔人物画生成方法、系统及存储介质,生成方法包括生成文本潜在向量;随机生成一个潜在空间表示,并将其与文本潜在向量输入预训练的工笔人物扩散模型的主体,得到模型输出;采用预训练的工笔人物扩散模型的VAE将模型输出转换到像素空间,得到人物生成图像;采用PPMatting处理人物生成图像,通过预测每个像素的透明度来分割前景与背景,得到背景掩膜;将人物生成图像与背景掩膜输入预训练的工笔花鸟扩散模型的VAE,得到第一潜在空间表示;将第一潜在空间表示与文本潜在向量输入预训练的工笔花鸟扩散模型的主体,并将主体的模型输出输入工笔花鸟扩散模型的VAE,解码得到工笔人物画。

【技术实现步骤摘要】

本专利技术涉及图像生成技术,具体涉及一种基于扩散模型的工笔人物画生成方法、系统及存储介质


技术介绍

1、随着生成对抗网络(gan)和扩散模型(diffusionmodels)等技术的不断演进,图像生成任务已取得飞跃式的进展,推动了创意设计、虚拟现实等多个领域的发展。这些模型生成的图像可以达到高度逼真的效果,但在应对用户复杂、精细化的需求时,生成结果常常难以完全按照人类的预期进行精准控制与目标存在偏差,尤其是在特定风格或情境的呈现上。

2、随着跨模态技术的兴起,基于文本的图像生成技术应运而生,旨在通过自然语言指导视觉内容的生成。这一技术的核心在于利用深度学习中的先进方法,特别是跨模态对比学习模型,如clip,将文本和图像嵌入至统一的语义空间,从而实现文本与图像的精准匹配。相比以往的生成技术,跨模态方法为人类赋予了更大的控制权,使得图像生成从一个自动化的过程转变为一个高度定制化的创作工具,从而显著增强了人物生成图像的表达力与符合度。

3、尽管基于文本的图像生成技术在理论和实践层面上都取得了显著的进展,然而在实际应用中,依然存在若干技术本文档来自技高网...

【技术保护点】

1.基于扩散模型的工笔人物画生成方法,其特征在于,包括步骤:

2.根据权利要求1所述的基于扩散模型的工笔人物画生成方法,其特征在于,解码得到工笔人物画的表达式为:

3.根据权利要求2所述的基于扩散模型的工笔人物画生成方法,其特征在于,所述工笔人物画训练集包括若干工笔人物画和对每幅工笔人物画进行描述的文本信息;工笔花鸟画数据集包括若干工笔花鸟画和对每幅工笔花鸟画进行描述的文本信息。

4.根据权利要求2所述的基于扩散模型的工笔人物画生成方法,其特征在于,工笔人物扩散模型和工笔花鸟扩散模型的主体的模型输出的表达式相同,具体为:

>5.根据权利要求1...

【技术特征摘要】

1.基于扩散模型的工笔人物画生成方法,其特征在于,包括步骤:

2.根据权利要求1所述的基于扩散模型的工笔人物画生成方法,其特征在于,解码得到工笔人物画的表达式为:

3.根据权利要求2所述的基于扩散模型的工笔人物画生成方法,其特征在于,所述工笔人物画训练集包括若干工笔人物画和对每幅工笔人物画进行描述的文本信息;工笔花鸟画数据集包括若干工笔花鸟画和对每幅工笔花鸟画进行描述的文本信息。

4.根据权利要求2所述的基于扩散模型的工笔人物画生成方法,其特征在于,工笔人物扩散模型和工笔花鸟扩散模型的主体的模型输出的表达式相同,具体为:

5.根据权利要求1-4任...

【专利技术属性】
技术研发人员:李茂张哲维
申请(专利权)人:四川大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1