【技术实现步骤摘要】
所属的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图2中的任意一个或多个步骤。本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播
技术介绍
1、文本生成图像，即为给定的文本生成符合文本内容描述的图像。相关技术中，都是单一方式或单一模型生成文本对应的图像，生成的图像的准确性较低。
2、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种文本生成图像的方法、文本生成图像的装置、计算机可读介质和电子设备，进而至少在一定程度上改善基于文本生成的图像的准确性。
2、根据本公开的第一方面，提供一种文本生成图像的方法，包括：获取文本描述信息中的候选关键字；根据多个候选文图生成模型关联的关键字，从多个候选文图生成模型中确定出所述候选关键字对应的目标文图生成模型；基于所述目标文图生成模型生成所述文本描述信息对应的图像；其中，预先根据多个所述候选文图生成模型针对不同关键字文本生成的图像的评估分数，选择出不同关键字对应的目标文图生成模型，以确定每个候选文图生成模型关联的关键字。
3、根据本公开的第二方面，提供一种文本生成图像的装置，包括：候选关键字获取模块，被配置为获取文本描述信息中的候选关键字；目标文图生成模型确定模块，被配置为根据多个候选文图生成模型关联的关键字，从多个候选文图生成模型中确定出所述候选关键字对应的目标文图生成模型；图像生成模块，被配置为基于所述目标文图生成模型生成所述文本描述信息对应的图像；其中，预先根据多个所述候选文图生成模型针对不同关键字文本生成的图像的评估分数，选择出不同关键字对应的目标文图生成模型，以确定每个候选文图生成模型关联的关键字。
4、根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的第一方面所述的文本生成图像的方法。
5、根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的第一方面所述的文本生成图像的方法。
6、根据本公开的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如第一方面所述的文本生成图像的方法的步骤。
7、本公开的技术方案具有以下有益效果：
8、本公开通过多个候选文图生成模型针对不同关键字的文本生成的图像的评估分数，可以从多个候选文图生成模型中，确定出对包括不同关键字的文本进行图像生成时使用的目标文图生成模型，从而可以根据文本描述信息中的关键字结合不同模型的优势，来生成文本描述信息对应的图像，以提高基于文本描述信息生成的图像的准确性。
9、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种文本生成图像的方法，其特征在于，包括：
2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述获取文本描述信息中的候选关键字，包括：
3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述根据多个候选文图生成模型关联的关键字，从多个候选文图生成模型中确定出所述候选关键字对应的目标文图生成模型，包括：
4.根据权利要求1所述的文本生成图像的方法，其特征在于，所述多个候选文图生成模型包括第一模型、第二模型、第三模型、第四模型中的多种；其中，所述第一模型包括图文相似模型和扩散模型，所述第二模型包括文本语义相似模型和图文相似模型，所述第三模型包括扩散模型，所述第四模型包括自回归模型；所述第一模型根据图文相似模型从文本描述信息对应的候选图像库中确定出参考图像，并根据参考图像和所述文本描述信息基于所述扩散模型，生成所述文本描述信息对应的图像；所述第二模型根据文本语义相似模型从文本描述信息对应的候选图像库中确定出目标候选图像，并根据所述图文相似模型从所述目标候选图像中确定出所述文本描述信息对应的图像；所述第三模型用于将文本描述信息输入到扩
5.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第一模型的情况下，所述第一模型根据图文相似模型从文本描述信息对应的候选图像库中确定出参考图像，并根据参考图像和所述文本描述信息基于所述扩散模型，生成所述文本描述信息对应的图像，包括：
6.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第二模型的情况下，所述第二模型根据文本语义相似模型从文本描述信息对应的候选图像库中确定出目标候选图像，并根据所述图文相似模型从所述目标候选图像中确定出所述文本描述信息对应的图像，包括：
7.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第四模型的情况下，所述第四模型包括以变换器为框架的自回归模型，所述第四模型的确定方式包括：
8.根据权利要求7所述的文本生成图像的方法，其特征在于，所述根据所述隐向量样本和所述隐向量预测值确定出训练损失函数值，以训练得到所述第四模型，包括：
9.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第一模型和/或所述第三模型的情况下，所述扩散模型的确定方式包括：
10.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第三模型的情况下，所述第三模型用于将文本描述信息输入到扩散模型中，以得到所述文本描述信息对应的图像，包括：
11.一种文本生成图像的装置，其特征在于，包括：
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法。
13.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种文本生成图像的方法，其特征在于，包括：
2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述获取文本描述信息中的候选关键字，包括：
3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述根据多个候选文图生成模型关联的关键字，从多个候选文图生成模型中确定出所述候选关键字对应的目标文图生成模型，包括：
4.根据权利要求1所述的文本生成图像的方法，其特征在于，所述多个候选文图生成模型包括第一模型、第二模型、第三模型、第四模型中的多种；其中，所述第一模型包括图文相似模型和扩散模型，所述第二模型包括文本语义相似模型和图文相似模型，所述第三模型包括扩散模型，所述第四模型包括自回归模型；所述第一模型根据图文相似模型从文本描述信息对应的候选图像库中确定出参考图像，并根据参考图像和所述文本描述信息基于所述扩散模型，生成所述文本描述信息对应的图像；所述第二模型根据文本语义相似模型从文本描述信息对应的候选图像库中确定出目标候选图像，并根据所述图文相似模型从所述目标候选图像中确定出所述文本描述信息对应的图像；所述第三模型用于将文本描述信息输入到扩散模型中，以得到所述文本描述信息对应的图像；所述第四模型用于将文本描述信息输入到所述自回归模型中，以得到所述文本描述信息对应的图像。
5.根据权利要求4所述的文本生成图像的方法，其特征在于，在所述多个候选文图生成模型包括所述第一模型的情况下，所述第一模型根据图文相似模型从文本描述信息对应的候选图像库中确定出参考图像，并根据参考图像和所述文本描...
【专利技术属性】
技术研发人员：李思佳，鲁浩楠，陈宸，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。