基于解耦自增强的细节可控个性化图像生成方法及系统技术方案

技术编号:41006302 阅读:48 留言:0更新日期:2024-04-18 21:42
本发明专利技术提出一种基于解耦自增强的细节可控个性化图像生成方法和系统,包括:获取参考概念图像和文本指令,构造文本指令的属性描述,基于概念图像的概念特征和属性描述,生成多个初始图像并筛选,将筛选后的每张初始图像与其对应的属性描述作为训练样本;为训练样本中初始图像添噪得到噪声图像,将噪声图像和其对应的属性描述送入包括文本编码器的扩散网络,扩散网络根据属性描述,预测噪声图像中所添加的噪声,根据预测结果和真实添加噪声构建损失函数训练扩散网络,得到图像生成模型;将具有目标属性的图像生成文本指令和噪声图像输入图像生成模型,图像生成模型根据图像生成文本指令为噪声图像去噪,得到图像生成文本指令对应的图像生成结果。

【技术实现步骤摘要】

本专利技术涉及数字图像生成领域,并特别涉及一种基于解耦自增强的细节可控个性化图像生成方法及系统


技术介绍

1、在今天,仅仅需要用户给出自然语言描述,大规模图像生成模型就能够合成以假乱真或者异想天开的图像。数字内容合成领域的个性化生成任务旨在满足用户的定制化生成需求,通过学习用户指定的参考概念(例如个人自拍、宠物狗的照片等)生成包含这个概念的新图片。个性化技术可以为广告设计、艺术创作、社交媒体等广泛的应用场景提供支持。

2、现有的个性化生成方法大多关注高质量高效率的概念重建或多个概念的提取与组合。然而这些通常为概念级方法,仅仅关注对参考图片中整体概念的学习。在缺少额外训练数据或监督信息的情况下,这些方法无法解耦概念的不同视觉信息。另一些方法探索了如何拆解单个概念,独立学习构成原概念的视觉属性或细分概念,满足了用户提取细分属性和分析概念组成的需求。然而,这类方法往往依赖于对视觉属性的先验知识或基于无监督训练流程,因此无法根据用户要求可控地解耦指定属性并进行个性化生成。


技术实现思路

<p>1、本专利技术的本文档来自技高网...

【技术保护点】

1.一种基于解耦自增强的细节可控个性化图像生成方法,其特征在于,包括:

2.如权利要求1所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤1包括通过概念预学习模型得到该概念图像的概念特征,包括:

3.如权利要求1所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤1包括:

4.如权利要求3所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤2包括:

5.一种基于解耦自增强的细节可控个性化图像生成系统,其特征在于,包括:

6.如权利要求5所述的基于解耦自增强的细节可控个性化图像生成...

【技术特征摘要】

1.一种基于解耦自增强的细节可控个性化图像生成方法,其特征在于,包括:

2.如权利要求1所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤1包括通过概念预学习模型得到该概念图像的概念特征,包括:

3.如权利要求1所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤1包括:

4.如权利要求3所述的基于解耦自增强的细节可控个性化图像生成方法,其特征在于,该步骤2包括:

5.一种基于解耦自增强的细节可控个性化图像生成系统,其特征在于,包括:

6.如权利要求5所述的基于解耦自...

【专利技术属性】
技术研发人员:曹娟吴优唐帆李锦涛唐胜
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1