System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种图像生成方法及相关装置制造方法及图纸_技高网

一种图像生成方法及相关装置制造方法及图纸

技术编号:43514096 阅读:31 留言:0更新日期:2024-11-29 17:16
本申请涉及计算机技术领域,提供一种图像生成方法及相关装置,用以生成图像质量,其中,该方法包括:首先,基于图像描述文本,分别提取出三类图像属性各自对应的文本特征,并利用噪声图像,初始化生成三类图像属性各自对应的初始特征;其次,利用三类图像属性各自对应的文本特征,分别对三类图像属性各自对应的初始特征进行特征提取,获得三类图像属性各自对应的中间特征,通过特征提取,提取出与图像描述文本相关的特征,达到去噪的效果;最后,基于三类图像属性各自对应的中间特征进行特征重构,来生成目标图像,从而减少各类图像属性的信息损失,提高生成图像的准确率。

【技术实现步骤摘要】

所属的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。基于相同的专利技术构思,本申请实施例还提供一种电子设备。在一种实施例中,该电子设备可以是服务器,也可以是终端设备。参阅图14所示,其为本申请实施例中提供的一种可能的电子设备的结构示意图,图14中,电子设备1400包括:处理器1410和存储器1420。其中,存储器1420存储有可被处理器1410执行的计算机程序,处理器1410通过执行存储器1420存储的指令,可以执行上述图像生成方法的步骤。存储器1420可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram);存储器1420也可以是非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,rom),快闪存储器(flash memory),硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);或者存储器1420是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1420也可以是上述存储器的组合。处理器1410可以包括一个或多个中央处理单元(central processing unit,cpu)或者为数字处理单元等等。处理器1410,用于执行存储器1420中存储的计算机程序时实现上述图像生成方法。在一些实施例中,处理器1410和存储器1420可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。本申请实施例中不限定上述处理器1410和存储器1420之间的具体连接介质。本申请实施例中以处理器1410和存储器1420之间通过总线连接为例,总线在图14中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于描述,图14中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。基于同一专利技术构思,本申请实施例提供了一种计算机可读存储介质,其包括计算机程序,当计算机程序在电子设备上运行时,计算机程序用于使电子设备执行上述图像生成方法的步骤。在一些可能的实施方式中,本申请提供的图像生成方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在电子设备上运行时,计算机程序用于使电子设备执行上述图像生成方法中的步骤,例如,电子设备可以执行如图3中所示的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(compact disk read only memory,cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。本申请的实施方式的程序产品可以采用cd-rom并包括计算机程序,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储计算机程序的有形介质,该计算机程序可以被命令执行系统、装置或者器件使用或者与其结合使用。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的计算机程序。尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。


技术介绍

1、图像生成是指根据对象输入的内容(content)、画风(style)、质感(quality)等至少一类图像属性,生成相应的图像。

2、相关技术中,在指定三类图像属性情况下,先根据某一类图像属性生成初始图像,再在初始图像中依次加入每类图像属性,从而生成满足三类图像属性的目标图像。然而,图像属性的逐一加入,需要对初始图像进行多次图像转换,而每次图像转换都可能丢失部分图像细节,影响生成的目标图像的准确性。

3、以输入目标内容、目标画风和目标质感为例。首先,基于目标内容进行文生图操作,生成包含目标内容的初始图像;接着,针对初始图像进行画风转换,生成目标画风对应的中间图像;最后,在中间图像的基础上,按照目标质感进行质感转换,生成目标图像。

4、由于画风转换和质感转换均可能对初始图像中的内容进行更改,因此,中间图像或者目标图像会丢失部分或全部目标内容,特别是在目标内容较为复杂的情况下,初始图像中包含较多的对象,而画风转换和质感转换会导致目标图像丢失细节,从而导致生成的图像的内容不准确。


技术实现思路

1、本申请实施例提供一种图像生成方法及相关装置,用以提高生成图像的准确性。

2、一方面,本申请实施例提供一种图像生成方法,包括:

3、基于图像描述文本,针对设定的第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一文本特征、第二文本特征和第三文本特征;

4、基于预设的噪声图像,针对所述第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一初始特征、第二初始特征和第三初始特征;

5、基于所述第一文本特征、所述第二文本特征和所述第三文本特征,分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行特征提取,获得相应的第一中间特征、第二中间特征和第三中间特征;

6、基于所述第一中间特征和所述第二中间特征,对所述第三中间特征进行特征重构,获得目标图像特征,并基于所述目标图像特征,生成目标图像。

7、一方面,本申请实施例提供一种图像生成装置,包括:

8、文本提取单元,用于基于图像描述文本,针对设定的第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一文本特征、第二文本特征和第三文本特征;

9、特征初始化单元,用于基于预设的噪声图像,针对所述第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一初始特征、第二初始特征和第三初始特征;

10、特征提本文档来自技高网...

【技术保护点】

1.一种图像生成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,基于所述第一文本特征,对所述第一初始特征进行特征提取,获得第一中间特征,包括:

3.如权利要求2所述的方法,其特征在于,所述基于前一次下采样得到的第二下采样特征和第一下采样特征,结合所述第二文本特征,获得当前次下采样的第二下采样特征,包括:

4.如权利要求3所述的方法,其特征在于,所述基于当前次下采样的输入数据,结合所述第二文本特征进行下采样处理,获得当前次下采样的第二下采样特征,包括:

5.如权利要求2-4中任一项所述的方法,其特征在于,基于所述第三文本特征,对所述第三初始特征进行特征提取,获得第三中间特征,包括:

6.如权利要求5所述的方法,其特征在于,第三下采样特征包括下采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;

7.如权利要求6所述的方法,其特征在于,所述基于当前次下采样得到的第二自注意力特征,结合当前次下采样的第三语义特征进行自注意力处理,获得当前次下采样的第三自注意力特征,包括:

8.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第一中间特征和所述第二中间特征,对所述第三中间特征进行特征重构,获得目标图像特征,包括:

9.如权利要求8所述的方法,其特征在于,第三上采样特征包括上采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;

10.如权利要求9所述的方法,其特征在于,所述基于当前次上采样得到的第三语义特征,结合当前次上采样得到的第一上采样特征中的第一语义特征进行自注意力处理,获得当前次上采样的第三自注意力特征,包括:

11.如权利要求9所述的方法,其特征在于,所述基于当前次上采样得到的第三自注意力特征、当前次上采样得到的第二上采样特征中的第二自注意力特征,结合所述第三文本特征进行交叉注意力处理,获得当前次上采样的第三交叉注意力特征,包括:

12.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第一文本特征、所述第二文本特征和所述第三文本特征,分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行特征提取,获得相应的第一中间特征、第二中间特征和第三中间特征,包括:

13.一种图像生成装置,其特征在于,包括:

14.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~12中任一所述方法的步骤。

15.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~12中任一所述方法的步骤。

16.一种计算机程序产品,其特征在于,其包括计算机程序,所述计算机程序存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序,使得所述电子设备执行权利要求1~12中任一所述方法的步骤。

...

【技术特征摘要】

1.一种图像生成方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,基于所述第一文本特征,对所述第一初始特征进行特征提取,获得第一中间特征,包括:

3.如权利要求2所述的方法,其特征在于,所述基于前一次下采样得到的第二下采样特征和第一下采样特征,结合所述第二文本特征,获得当前次下采样的第二下采样特征,包括:

4.如权利要求3所述的方法,其特征在于,所述基于当前次下采样的输入数据,结合所述第二文本特征进行下采样处理,获得当前次下采样的第二下采样特征,包括:

5.如权利要求2-4中任一项所述的方法,其特征在于,基于所述第三文本特征,对所述第三初始特征进行特征提取,获得第三中间特征,包括:

6.如权利要求5所述的方法,其特征在于,第三下采样特征包括下采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;

7.如权利要求6所述的方法,其特征在于,所述基于当前次下采样得到的第二自注意力特征,结合当前次下采样的第三语义特征进行自注意力处理,获得当前次下采样的第三自注意力特征,包括:

8.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第一中间特征和所述第二中间特征,对所述第三中间特征进行特征重构,获得目标图像特征,包括:

9.如权利要求8所述的方法,其特征在于,第三上采样特征包括上采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;

10.如权利要求9所述的方法,其特...

【专利技术属性】
技术研发人员:冯鑫
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1