一种基于扩散模型的定制化图像方法技术

本发明专利技术公开一种基于扩散模型的定制化图像方法，引入图像编码器模块，注入图像先验信息，不仅能够提升生成图像中物体与参考物体的一致性，而且需要优化模型参数以及计算成本很少，降低时间和算例成本。采用一种轻量化的身份一致性网络对参考物体进行特征提取，降低模型所需优化的参数量。利用掩码衰减的损失保证一致性的同时，减少背景信息的干扰。为提升文本对参考物体的可编辑性，引入文本先验和文本保护机制，利用未加入标识向量的文本作为学习目标，减小除标识向量之外的其余向量之间的差距，采用向量正交分解的方式进行文本保护。本发明专利技术的方法能更广泛地应用于实际场景中，参考物体的身份一致性较高，同时对于参考物体的属性，可编辑性较高。

【技术实现步骤摘要】

本专利技术属于计算机视觉，涉及一种基于扩散模型的定制化图像方法。

技术介绍

1、扩散模型是近些年在计算机视觉领域兴起的一种新型模型，其进展推动了图像生成技术的显著进步，从而促进了图像编辑技术的发展。扩散模型可以分为前向扩散过程和反向去噪过程，其中前向扩散过程是从真实图片开始，逐步添加噪声的，直至数据完全转化为噪声，这个过程可以看作是一个马尔可夫链，即每个状态只依赖于前一个状态。反向去噪过程则是训练一个神经网络，通过最小化网络预测噪声和前向过程中添加的噪声真实值之间的差距，然后再逐步去噪，直至从噪声中恢复出原始数据。

2、对于将扩散模型应用到图像生成以及图像编辑中来说，定制化图像引起了人们的极大兴趣，这一应用旨在给定参考物体的前提下，在各种情况下生成参考物体的逼真图像。现有的定制化图像方法，根据训练方式可以分为三种：无需微调、微调、训练。无需微调的方式，mingdeng ca等人的工作masactrl(masactrl:tuning-free mutual self-attentioncontrol for consistent image sy本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的定制化图像方法，其特征在于，该定制化图像方法由三个大部分组成，包括图像编码器、文本编码器以及U型网络，具体的步骤如下：

【技术特征摘要】

1.一种基于扩散模型的定制化图像方法，其特征在于，该定制化图像方法由三...

【专利技术属性】
技术研发人员：戚金清，张红，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：