图像风格迁移方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42583037 阅读:21 留言:0更新日期:2024-09-03 18:01
本公开提供了一种图像风格迁移方法、装置、电子设备及存储介质,涉及人工智能技术领域,尤其涉及深度学习、AIGC(人工智能生成内容)等技术领域。图像风格迁移方法包括:获取参考图像和描述文本;提取描述文本的文本特征;基于预训练的扩散模型执行以下操作,以生成目标图像:在扩散模型的每个时间步中:计算第一图像特征与文本特征的第一交叉注意力特征;获取参考图像的第二图像特征与文本特征的第二交叉注意力特征;基于第二交叉注意力特征,对第一交叉注意力特征进行编辑,以得到第三交叉注意力特征;基于第三交叉注意力特征和文本特征,生成该时间步的结果图像特征;对最后一个时间步的结果图像特征进行解码,以生成目标图像。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及深度学习、aigc(人工智能生成内容)等,具体涉及一种图像风格迁移方法及装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、图像风格迁移指的是在保持原图像(即,参考图像)的内容大致不变的情况下改变原图像的风格,得到同时具有原图像的内容和新风格的新图像(即,目标图像)。例如,原图像为描绘有一只在街边行走的狗的照片(即,照片风格),指定的新风格为动漫风格。通过对原图像进行风格迁移,可以得到用动漫风格描绘有一只在街边行走的狗的新图像。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种图像风格迁移方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一种图像风格迁移方法,包括:获取参考图像和描述文本,其中本文档来自技高网...

【技术保护点】

1.一种图像风格迁移方法,包括:

2.根据权利要求1所述的方法,其中,所述第一交叉注意力特征包括对应于所述内容描述文本的第一内容子特征和对应于所述风格描述文本的第一风格子特征,所述第二交叉注意力特征包括对应于所述内容描述文本的第二内容子特征和对应于所述风格描述文本的第二风格子特征,所述第三交叉注意力特征包括对应于所述内容描述文本的第三内容子特征和对应于所述风格描述文本的第三风格子特征,所述基于所述第二交叉注意力特征,对所述第一交叉注意力特征进行编辑,以得到第三交叉注意力特征包括:

3.根据权利要求2所述的方法,其中,所述基于所述第二内容子特征,对所述第一内容子特征...

【技术特征摘要】

1.一种图像风格迁移方法,包括:

2.根据权利要求1所述的方法,其中,所述第一交叉注意力特征包括对应于所述内容描述文本的第一内容子特征和对应于所述风格描述文本的第一风格子特征,所述第二交叉注意力特征包括对应于所述内容描述文本的第二内容子特征和对应于所述风格描述文本的第二风格子特征,所述第三交叉注意力特征包括对应于所述内容描述文本的第三内容子特征和对应于所述风格描述文本的第三风格子特征,所述基于所述第二交叉注意力特征,对所述第一交叉注意力特征进行编辑,以得到第三交叉注意力特征包括:

3.根据权利要求2所述的方法,其中,所述基于所述第二内容子特征,对所述第一内容子特征进行修改包括:

4.根据权利要求2或3所述的方法,其中,所述基于所述第一风格子特征,确定所述第三风格子特征包括:

5.根据权利要求1-4中任一项所述的方法,其中,所述提取所述描述文本的文本特征包括:

6.根据权利要求5所述的方法,其中,所述扩展的风格描述文本包括所述风格描述文本和所述参考图像的风格描述标识,并且其中,所述对所述扩展的风格描述文本进行编码,以得到所述扩展的风格描述文本的第二文本特征包括:

7.根据权利要求6所述的方法,其中,所述参考图像为参考视频中的任一图像帧,并且其中,所述利用图像编码器提取所述参考图像的第三图像特征包括:

8.根据权利要求1-7中任一项所述的方法,其中,所述计算第一图像特征与所述文本特征的第一交叉注意力特征包括:

9.根据权利要求8所述的方法,其中,所述参考图像为参考视频中的除第一个图像帧以外的任一图像帧,并且其中,所述基于所述自注意力特征和所述第一图像特征,生成第四图像特征包括:

10.一种图像风格迁移装置...

【专利技术属性】
技术研发人员:汪浩然谢泽柯蔡云峰孙明明
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1