一种基于扩散模型的图像和谐化的图像编辑方法及系统技术方案

技术编号:40873092 阅读:31 留言:0更新日期:2024-04-08 16:41
本发明专利技术公开了一种基于扩散模型的图像和谐化的图像编辑方法及系统,包括:收集图像构建前景数据集和背景数据集,构建合成图像集;利用像素逆重组层和降采样块构建自适应编码器,基于前景掩码图和合成图像获取复合特征图;对扩散模型中U‑Net编码器结构改进,利用改进后的扩散模型获取去噪特征图,融合去噪特征图与复合特征图,利用RFFT和IRFFT对融合后的特征图进行处理,利用前景掩码图将处理后的特征图与对应的合成图像进行混合得到全局特征图;将全局特征图输入VGG模型训练,同时利用风格损失函数对输出进行优化得到优化后的全局特征图。本发明专利技术在充分保留前景内容的基础上,更贴近绘画背景风格,提高合成结果的视觉一致性。

【技术实现步骤摘要】

本专利技术属于图像处理,具体涉及一种基于扩散模型的图像和谐化的图像编辑方法及系统


技术介绍

1、近年来,图像和谐化任务受到越来越多的关注,该任务的目标是将合成图像中的前景对象融入背景,实现前景区域与背景的视觉一致性。如通过将古老时期的城市建筑与现代或未来的城市风貌相融合,创造一个具有时光穿越感的城市演变场景。古老的建筑和街道元素在现代科技的映衬下,呈现出独特的时空对比。传统的图像和谐化方法主要集中在对前景进行颜色、亮度等低级特征的调整上。风格图像和谐化任务旨在将前景对象插入绘画中,获得艺术连贯的合成图像。它在调整低级特征的基础上,将背景的高级风格迁移到前景中,能够显著提高合成图像的视觉效果,但也更具有挑战性。

2、现有的风格图像和谐化方法主要可以分为两类:基于优化的方法和前馈方法。基于优化的方法通过最小化所设计的损失函数对合成图像进行迭代优化,然而该过程非常耗时且不适用于实时应用;前馈方法主要依赖于生成对抗网络(gan),可以使用训练后的模型直接生成和谐化图像。然而,基于gan的方法在对复杂前景的控制方面存在一定的局限性,导致和谐化后的前景无本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的图像和谐化的图像编辑方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于扩散模型的图像和谐化的图像编辑方法,其特征在于,在步骤S2中,所述自适应编码器包括依次连接的第一像素逆重组层、第一特征提取块、第一降采样块、第二特征提取块、第二降采样块、第三特征提取块、第三降采样块和第四特征提取块,且每个特征提取块均至少包括依次连接的一个卷积层和两个残差块。

3.根据权利要求1所述的基于扩散模型的图像和谐化的图像编辑方法,其特征在于,所述步骤S3包括如下步骤:

4.根据权利要求3所述的基于扩散模型的图像和谐化的图像编辑方法,其特征在...

【技术特征摘要】

1.一种基于扩散模型的图像和谐化的图像编辑方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于扩散模型的图像和谐化的图像编辑方法,其特征在于,在步骤s2中,所述自适应编码器包括依次连接的第一像素逆重组层、第一特征提取块、第一降采样块、第二特征提取块、第二降采样块、第三特征提取块、第三降采样块和第四特征提取块,且每个特征提取块均至少包括依次连接的一个卷积层和两个残差块。

3.根据权利要求1所述的基于扩散模型的图像和谐化的图像编辑方法,其特征在于,所述步骤s3包括如下步骤:

【专利技术属性】
技术研发人员:张青青姚欣王晓飞
申请(专利权)人:派欧云计算上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1