一种基于扩散模型的精细可控图像风格化方法技术

技术编号:44896500 阅读:20 留言:0更新日期:2025-04-08 00:36
本发明专利技术公开了一种基于扩散模型的精细可控图像风格化方法。该方法包括:获取训练数据,其中,训练数据为一组与拥有对齐风格属性的样本数据,样本数据包括内容图像、笔触图像、颜色图像、文本信息和目标图像;对内容图像、笔触图像和颜色图像隐式地进行特征解耦处理,得到内容属性特征、笔触属性特征和颜色属性特征;将内容属性特征、笔触属性特征、颜色属性特征和文本信息通过适应性门控机制融合并注入至可控扩散模型中,结合目标图像,得到预测图像。本发明专利技术解决了现有技术中未解耦参考图像中的多种细粒度的风格属性,造成难以精细、灵活地控制风格转移的技术问题。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体而言,涉及一种基于扩散模型的精细可控图像风格化方法


技术介绍

1、图像处理是人工智能的关键技术,而图像生成则是该领域的核心基础。近年来,图像生成技术已广泛应用于艺术创作、娱乐、设计、教育、影视等多个领域。然而,现有的图像风格化方法在处理指定图像细节风格属性的迁移任务时,仍然表现出一定的能力局限。基于反演的方法往往利用可学习的通用文本标记来进行特定风格的表征。相关文献中,设计了一种隐式风格库(implicit style prompt bank,简称为 ispb)来存储各种风格的隐式表达与迁移。然而,这种粗糙的文本标记难以处理参考图像中的特定样式信息的传递。基于微调的方法旨在微调一个轻量级网络来迁移参考图像中的细节样式,实现了卓越的风格化图像生成性能。另一个相关文献中,采用语义-风格解耦与非重建式学习策略实现了对参考图像细节风格的有效迁移。然而,由于这些方法将参考图像中的风格视为一个单一的、不可分割的实体,它们很难准确解耦参考图像中的多种风格属性。这限制了风格化图像生成技术在精细化风格解耦和可控迁移方面的应用。例如,在海报制作任本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的精细可控图像风格化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在获取训练数据之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在获取训练数据之后,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述对内容图像、笔触图像和颜色图像隐式地进行特征解耦处理,得到内容属性特征、笔触属性特征和颜色属性特征,包括:

5.根据权利要求3所述的方法,其特征在于,所述将内容属性特征、笔触属性特征、颜色属性特征和文本信息通过适应性门控机制融合并注入至可控扩散模型中,结合目标图像,得到预测...

【技术特征摘要】

1.一种基于扩散模型的精细可控图像风格化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在获取训练数据之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在获取训练数据之后,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述对内容图像、笔触图像和颜色图像隐式地进行特征解耦处理,得到内容属性特征、笔触属性特征和颜色属性特征,包括:

5.根据权利要求3所述的方法,其特征在于,所述将内容属性特征、笔触属性特征、颜色属性特征和文本信息通过适应性门控机制融合并注入至可控扩散模型中,结合目标图像,得到预测图像,包括:

6.根据权利要求5所述的方法,其特征在于,所述将每一层的文本相关嵌入...

【专利技术属性】
技术研发人员:魏巍付博文张磊聂江涛
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1