生成图像的方法、装置、可读介质及电子设备制造方法及图纸

本公开实施例涉及一种生成图像的方法、装置、可读介质及电子设备。该方法包括：获取用于描述目标对象的第一文本，获取第二文本；将第一文本和第二文本输入预先生成的目标图像生成模型中，得到目标图像生成模型输出的目标图像；其中，该目标图像包括目标对象和第二文本对应的文字信息，该目标图像生成模型包括第一文本编码器和第二文本编码器，第一文本编码器用于对第一文本进行编码得到第一文本对应的第一文本特征，第二文本编码器用于对第二文本进行编码，得到第二文本对应的第二文本特征，目标图像生成模型还用于根据第一文本特征和第二文本特征生成目标图像。这样，可以在生成的目标图像中包含清晰的文字信息。的目标图像中包含清晰的文字信息。的目标图像中包含清晰的文字信息。

【技术实现步骤摘要】
生成图像的方法、装置、可读介质及电子设备


[0001]本公开涉及计算机
，具体地，涉及一种生成图像的方法、装置、可读介质及电子设备。

技术介绍

[0002]随着计算机技术的进步，图像生成技术取得了较大的进展，例如，可以输入一段对图像内容进行描述的文本，可以根据文本生成符合文本描述要求的图像。
[0003]但是，在相关技术中，无法在生成的图像中包含清晰的文字信息。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]根据本公开实施例的第一方面，提供一种生成图像的方法，所述方法包括：
[0006]获取用于描述目标对象的第一文本；
[0007]获取第二文本；
[0008]将所述第一文本和所述第二文本输入预先生成的目标图像生成模型中，得到所述目标图像生成模型输出的目标图像；
[0009]其中，所述目标图像包括所述目标对象和所述第二文本对应的文字信息，所述目标图像生成模型包括第一文本编码器和第二文本编码器，所述第一文本编码器用于对所述第一文本进行编码，得到所述第一文本对应的第一文本特征，所述第二文本编码器用于对所述第二文本进行编码，得到所述第二文本对应的第二文本特征，所述目标图像生成模型用于根据所述第一文本特征和所述第二文本特征生成所述目标图像。
[0010]根据本公开实施例的第二方面，提供一种生成图像的装置，所述装置包括：
[0011]第一获取模块，用于获取用于描述目标对象的第一文本；
[0012]第二获取模块，用于获取第二文本；
[0013]图像生成模块，用于将所述第一文本和所述第二文本输入预先生成的目标图像生成模型中，得到所述目标图像生成模型输出的目标图像；其中，所述目标图像包括所述目标对象和所述第二文本对应的文字信息，所述目标图像生成模型包括第一文本编码器和第二文本编码器，所述第一文本编码器用于对所述第一文本进行编码，得到所述第一文本对应的第一文本特征，所述第二文本编码器用于对所述第二文本进行编码，得到所述第二文本对应的第二文本特征，所述目标图像生成模型用于根据所述第一文本特征和所述第二文本特征生成所述目标图像。
[0014]根据本公开实施例的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理装置执行时实现本公开第一方面所述方法的步骤。
[0015]根据本公开实施例的第四方面，提供一种电子设备，包括：
[0016]存储装置，其上存储有计算机程序；
[0017]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
[0018]采用上述技术方案，获取用于描述目标对象的第一文本，获取第二文本；将第一文本和第二文本输入预先生成的目标图像生成模型中，得到目标图像生成模型输出的目标图像；其中，该目标图像包括目标对象和第二文本对应的文字信息，该目标图像生成模型包括第一文本编码器和第二文本编码器，第一文本编码器用于对第一文本进行编码得到第一文本对应的第一文本特征，第二文本编码器用于对第二文本进行编码，得到第二文本对应的第二文本特征，目标图像生成模型还用于根据第一文本特征和第二文本特征生成目标图像。这样，可以在生成的目标图像中包含清晰的文字信息，并且生成的目标图像中的文字信息可以有较好的视觉效果。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0021]图1是根据一示例性实施例示出的一种根据文本生成的图像的示意图。
[0022]图2是根据一示例性实施例示出的一种生成图像的方法的流程图。
[0023]图3是根据一示例性实施例示出的一种目标图像生成模型的示意图。
[0024]图4是根据一示例性实施例示出的另一种生成图像的方法的流程图。
[0025]图5是根据一示例性实施例示出的一种目标图像生成模型的生成方法的流程图。
[0026]图6是根据一示例性实施例示出的一种待定图像生成模型的示意图。
[0027]图7是根据一示例性实施例示出的一种相关技术中根据文本生成的图像的示意图。
[0028]图8是根据一示例性实施例示出的通过目标图像生成模型根据文本生成的目标图像的示意图。
[0029]图9是根据一示例性实施例示出的一种生成图像的装置的框图。
[0030]图10是根据一示例性实施例示出的另一种生成图像的装置的框图。
[0031]图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0032]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0033]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公
开的范围在此方面不受限制。
[0034]本公开使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0035]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0036]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。在本公开的描述中，除非另有说明，“多个”是指两个或多于两个，其它量词与之类似；“至少一项(个)”、“一项(个)或多项(个)”或其类似表达，是指的这些项(个)中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，至少一项(个)a，可以表示任意数目个a；再例如，a，b和c中的一项(个)或多项(个)，可以表示：a，b，c，a
‑
b，a
‑
c，b
‑
c，或a
‑
b
‑
c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成图像的方法，其特征在于，所述方法包括：获取用于描述目标对象的第一文本；获取第二文本；将所述第一文本和所述第二文本输入预先生成的目标图像生成模型中，得到所述目标图像生成模型输出的目标图像；其中，所述目标图像包括所述目标对象和所述第二文本对应的文字信息，所述目标图像生成模型包括第一文本编码器和第二文本编码器，所述第一文本编码器用于对所述第一文本进行编码，得到所述第一文本对应的第一文本特征，所述第二文本编码器用于对所述第二文本进行编码，得到所述第二文本对应的第二文本特征，所述目标图像生成模型用于根据所述第一文本特征和所述第二文本特征生成所述目标图像。2.根据权利要求1所述的方法，其特征在于，所述目标图像生成模型还包括特征转换器和图像生成器，所述将所述第一文本和所述第二文本输入预先生成的目标图像生成模型中，得到所述目标图像生成模型输出的目标图像包括：将所述第一文本输入所述第一文本编码器，得到所述第一文本编码器输出的第一文本特征；将所述第一文本特征输入所述特征转换器，得到第一图像特征；将所述第二文本输入所述第二文本编码器，得到所述第二文本编码器输出的第二文本特征；将所述第一图像特征和所述第二文本特征输入所述图像生成器，得到所述图像生成器生成的所述目标图像。3.根据权利要求2所述的方法，其特征在于，所述将所述第一图像特征和所述第二文本特征输入所述图像生成器，得到所述图像生成器生成的所述目标图像包括：将所述第一图像特征和所述第二文本特征进行叠加处理，得到叠加特征；将所述叠加特征输入所述图像生成器，得到所述目标图像。4.根据权利要求2所述的方法，其特征在于，所述目标图像生成模型通过以下方式生成：获取第一样本集合；所述第一样本集合中包括多个第一样本图像、以及每个第一样本图像对应的第一文本样本和第二文本样本，所述第二文本样本用于描述所述第一样本图像中包含的样本文字信息，所述第一文本样本用于描述所述第一样本图像中的除所述样本文字信息外的其他图像信息；根据所述第一样本集合对待定图像生成模型进行训练后得到所述目标图像生成模型。5.根据权利要求4所述的方法，其特征在于，所述获取第一样本集合包括：获取第二样本集合；所述第二样本集合中包括多个第二样本图像、以及每个第二样本图像对应的第三文本样本，所述第三文本样本用于描述所述第二样本图像的图像信息，所述第二样本图像为不包含文字信息的图像；获取第四文本样本；在所述第二样本图像的指定区域增加所述第四文本样本对应的待定文字信息；将增加所述待定文字信息后的第二样本图像作为所述第一样本图像，将所述第三文本样本作为所述第一样本图像对应的所述第一文本样本，将所述第四文本样本作为所述第一
样本图像对应的所述第二文本样本，得到所述第一样本集合。6.根据权利要求4所述的方法，其特征在于，所述获取第一样本集合包括：获取第三样本集合；所述第三样本集合中包括多个第三样本图像、以及每个第三样本图像对应的第五文本样本，所述第五文本样本用于描述所述第三样本图像的图像信息，所述第三样本图像为包含文字信息的图像；根据所述第三样本图像中的文字信息确定第六文本样本；将所述第三样本图像作为所述第一样本图像，将所述第五文本样本作为所述第一样本图像对应的所述第一文本样本，将所...

【专利技术属性】
技术研发人员：郭明宇，刘博元，冉蛟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：