一种基于扩散模型的彩色图像风格迁移方法技术

技术编号:46544237 阅读:0 留言:0更新日期:2025-10-10 21:08
本发明专利技术公开了一种基于扩散模型的彩色图像风格迁移方法,向输入图像添加噪声得到含噪图像,利用U‑Net网络处理含噪图像得到预测的图像空间特征;向输入图像的潜在向量添加噪声得到含噪潜在向量,利用Transformer网络处理含噪潜在向量得到预测的潜在空间特征;将预测的图像空间特征和潜在空间特征加权融合得到融合特征,并输入到解码器网络得到目标风格图像;利用目标风格图像进行图像重建得到重建图像,计算重建损失,并计算目标风格图像与风格参考图的风格损失以及目标风格图像与输入图像的内容损失,基于总损失进行训练优化网络参数。本发明专利技术具有无需使用配对数据集、双空间扩散提取图像特征、约束或关联不同时间步的隐层特征表达等特点。

【技术实现步骤摘要】

本专利技术属于图像处理,特别涉及一种基于扩散模型的彩色图像风格迁移方法


技术介绍

1、图像风格迁移是计算机视觉领域的重要研究方向,其目的是将一幅图像的风格特征迁移到另一幅图像上,以生成具备目标内容和目标风格的新图像。

2、传统图像风格迁移方法主要依赖手动建模,核心思想是通过统计模型对图像局部特征进行纹理描述。但这类方法存在显著局限性:每个模型只能适配单一风格,生成过程需从零开始训练,风格融合效果欠佳,生成图像中常出现不自然的风格过渡现象。随着深度学习技术的快速发展,风格迁移方法逐步转向基于卷积神经网络(cnn)的实现。这类方法通过将预训练的卷积神经网络提取的高级特征定义为内容,特征间的相关性定义为风格,并构建相应的内容损失和风格损失函数,不仅显著提高了图像生成效率,还增强了模型的泛化能力。然而,由于卷积神经网络的学习过程较难解释,这种基于特征相关性的定义未能完全实现图像内容与风格的解耦,导致现有方法在风格迁移任务中仍存在噪声纹理、色彩不均衡和语义信息丢失等问题,难以达到内容与风格的完美融合。

3、近年来,扩散模型在图像生成领域取得本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的彩色图像风格迁移方法,其特征在于,包括如下步骤:

2.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤1与步骤2,采用相同的时间步和噪声方差调度规则,所述U-Net网络与Transformer网络均包含时间步嵌入,且均接收当前时间步嵌入作为条件输入,所述当前时间步嵌入,通过傅里叶编码生成。

3.根据权利要求1或2所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤3,采用注意力门控机制进行加权融合。

4.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤5,利用所述目标风格...

【技术特征摘要】

1.一种基于扩散模型的彩色图像风格迁移方法,其特征在于,包括如下步骤:

2.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤1与步骤2,采用相同的时间步和噪声方差调度规则,所述u-net网络与transformer网络均包含时间步嵌入,且均接收当前时间步嵌入作为条件输入,所述当前时间步嵌入,通过傅里叶编码生成。

3.根据权利要求1或2所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤3,采用注意力门控机制进行加权融合。

4.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤5,利用所述目标风格图像进行图像重建得到重建图像,实现方法如下:

5.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述重建损失包括循环一致性损失和潜在空间重建损失,所述循环一致性损失为所述输入图像与所述重建图像在图像空间和潜在空间的差异,所述潜在空间重建损失为所述输入图像的潜在向量与所述重建图像的潜在向量之间的差异。

6.根据权利要求1所述基于扩散模型的彩色图像风格迁移方法,其特征在于,所述步骤6,采用渐进式多尺度训练方式...

【专利技术属性】
技术研发人员:石宝包辉东武文红
申请(专利权)人:内蒙古工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1