System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
所属的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。基于相同的专利技术构思,本申请实施例还提供一种电子设备。在一种实施例中,该电子设备可以是服务器,也可以是终端设备。参阅图14所示,其为本申请实施例中提供的一种可能的电子设备的结构示意图,图14中,电子设备1400包括:处理器1410和存储器1420。其中,存储器1420存储有可被处理器1410执行的计算机程序,处理器1410通过执行存储器1420存储的指令,可以执行上述图像生成方法的步骤。存储器1420可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram);存储器1420也可以是非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,rom),快闪存储器(flash memory),硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);或者存储器1420是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1420也可以是上述存储器的组合。处理器1410可以包括一个或多个中央处理单元(central processing unit,cpu)或者为数字处理单元等等。处理器141
技术介绍
1、图像生成是指根据对象输入的内容(content)、画风(style)、质感(quality)等至少一类图像属性,生成相应的图像。
2、相关技术中,在指定三类图像属性情况下,先根据某一类图像属性生成初始图像,再在初始图像中依次加入每类图像属性,从而生成满足三类图像属性的目标图像。然而,图像属性的逐一加入,需要对初始图像进行多次图像转换,而每次图像转换都可能丢失部分图像细节,影响生成的目标图像的准确性。
3、以输入目标内容、目标画风和目标质感为例。首先,基于目标内容进行文生图操作,生成包含目标内容的初始图像;接着,针对初始图像进行画风转换,生成目标画风对应的中间图像;最后,在中间图像的基础上,按照目标质感进行质感转换,生成目标图像。
4、由于画风转换和质感转换均可能对初始图像中的内容进行更改,因此,中间图像或者目标图像会丢失部分或全部目标内容,特别是在目标内容较为复杂的情况下,初始图像中包含较多的对象,而画风转换和质感转换会导致目标图像丢失细节,从而导致生成的图像的内容不准确。
技术实现思路
1、本申请实施例提供一种图像生成方法及相关装置,用以提高生成图像的准确性。
2、一方面,本申请实施例提供一种图像生成方法,包括:
3、基于图像描述文本,针对设定的第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一文本特征、第二文本特征和第三文本特征;
4、基于预设的噪声图像,针对所述第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一初始特征、第二初始特征和第三初始特征;
5、基于所述第一文本特征、所述第二文本特征和所述第三文本特征,分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行特征提取,获得相应的第一中间特征、第二中间特征和第三中间特征;
6、基于所述第一中间特征和所述第二中间特征,对所述第三中间特征进行特征重构,获得目标图像特征,并基于所述目标图像特征,生成目标图像。
7、一方面,本申请实施例提供一种图像生成装置,包括:
8、文本提取单元,用于基于图像描述文本,针对设定的第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一文本特征、第二文本特征和第三文本特征;
9、特征初始化单元,用于基于预设的噪声图像,针对所述第一图像属性、第二图像属性和第三图像属性,分别提取出相应的第一初始特征、第二初始特征和第三初始特征;
10、特征提本文档来自技高网...
【技术保护点】
1.一种图像生成方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,基于所述第一文本特征,对所述第一初始特征进行特征提取,获得第一中间特征,包括:
3.如权利要求2所述的方法,其特征在于,所述基于前一次下采样得到的第二下采样特征和第一下采样特征,结合所述第二文本特征,获得当前次下采样的第二下采样特征,包括:
4.如权利要求3所述的方法,其特征在于,所述基于当前次下采样的输入数据,结合所述第二文本特征进行下采样处理,获得当前次下采样的第二下采样特征,包括:
5.如权利要求2-4中任一项所述的方法,其特征在于,基于所述第三文本特征,对所述第三初始特征进行特征提取,获得第三中间特征,包括:
6.如权利要求5所述的方法,其特征在于,第三下采样特征包括下采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;
7.如权利要求6所述的方法,其特征在于,所述基于当前次下采样得到的第二自注意力特征,结合当前次下采样的第三语义特征进行自注意力处理,获得当前次下采样的第三自注意力特征,包括:
8
9.如权利要求8所述的方法,其特征在于,第三上采样特征包括上采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;
10.如权利要求9所述的方法,其特征在于,所述基于当前次上采样得到的第三语义特征,结合当前次上采样得到的第一上采样特征中的第一语义特征进行自注意力处理,获得当前次上采样的第三自注意力特征,包括:
11.如权利要求9所述的方法,其特征在于,所述基于当前次上采样得到的第三自注意力特征、当前次上采样得到的第二上采样特征中的第二自注意力特征,结合所述第三文本特征进行交叉注意力处理,获得当前次上采样的第三交叉注意力特征,包括:
12.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第一文本特征、所述第二文本特征和所述第三文本特征,分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行特征提取,获得相应的第一中间特征、第二中间特征和第三中间特征,包括:
13.一种图像生成装置,其特征在于,包括:
14.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~12中任一所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~12中任一所述方法的步骤。
16.一种计算机程序产品,其特征在于,其包括计算机程序,所述计算机程序存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序,使得所述电子设备执行权利要求1~12中任一所述方法的步骤。
...【技术特征摘要】
1.一种图像生成方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,基于所述第一文本特征,对所述第一初始特征进行特征提取,获得第一中间特征,包括:
3.如权利要求2所述的方法,其特征在于,所述基于前一次下采样得到的第二下采样特征和第一下采样特征,结合所述第二文本特征,获得当前次下采样的第二下采样特征,包括:
4.如权利要求3所述的方法,其特征在于,所述基于当前次下采样的输入数据,结合所述第二文本特征进行下采样处理,获得当前次下采样的第二下采样特征,包括:
5.如权利要求2-4中任一项所述的方法,其特征在于,基于所述第三文本特征,对所述第三初始特征进行特征提取,获得第三中间特征,包括:
6.如权利要求5所述的方法,其特征在于,第三下采样特征包括下采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;
7.如权利要求6所述的方法,其特征在于,所述基于当前次下采样得到的第二自注意力特征,结合当前次下采样的第三语义特征进行自注意力处理,获得当前次下采样的第三自注意力特征,包括:
8.如权利要求1-4中任一项所述的方法,其特征在于,所述基于所述第一中间特征和所述第二中间特征,对所述第三中间特征进行特征重构,获得目标图像特征,包括:
9.如权利要求8所述的方法,其特征在于,第三上采样特征包括上采样过程中的第三语义特征、第三自注意力特征、第三交叉注意力特征;
10.如权利要求9所述的方法,其特...
【专利技术属性】
技术研发人员:冯鑫,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。