一种基于交互的图像生成方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种基于交互的图像生成方法、装置、电子设备及存储介质，依据本申请实施例，通过获取基于交互组件提交的图像描述信息，其中，交互组件可以包括内容描述输入组件和多个样式描述输入组件，内容描述输入组件可以配置为接收图像内容描述信息，样式描述输入组件可以配置为接收图像样式描述信息以及对应的信息权重，再依据图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据，将描述文本数据输入图像生成模型，以由图像生成模型确定与描述文本数据匹配的图像特性信息，并依据图像特性信息生成目标图像。通过上述方案，可以提升人工智能图像生成结果的可控性，提高用户体验。提高用户体验。提高用户体验。

【技术实现步骤摘要】
一种基于交互的图像生成方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种基于交互的图像生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能的高速发展，通过文本语言描述生成图像是现代人工智能在计算机视觉领域的一个重要方向，也为需要创作图像的用户带来了便利。由于采用人工智能生成图像对于文本描述具有固定的程序化语言的要求，当用户输入文本描述之后，便无法对人工智能生成图像的过程做任何介入，故使得使用人工智能生成图像的结果不可控，这也是当前该行业的痛点。在用户输入的文本描述不符合相应程序化语言要求的情况下，生成的图像结果往往不符合用户的预期，或者需要经过若干次重新输入文本描述至使用人工智能生成图像的过程才可以挑选出符合预期的图像，既浪费计算资源，又伤害用户体验。
[0003]因此，亟需提供一种解决方案，以提升人工智能图像生成结果的可控性，提高用户使用人工智能生成图像的体验。

技术实现思路

[0004]本申请实施例提供一种基于交互的图像生成方法、装置、电子设备及存储介质，以解决上述一个或多个技术问题。
[0005]第一方面，本申请实施例提供了一种基于交互的图像生成方法，包括：
[0006]获取基于交互组件提交的图像描述信息；所述交互组件包括内容描述输入组件和多个样式描述输入组件，所述内容描述输入组件配置为接收图像内容描述信息，所述样式描述输入组件配置为接收图像样式描述信息以及对应的信息权重；
[0007]依据所述图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据；
[0008]将所述描述文本数据输入图像生成模型，以由所述图像生成模型确定与所述描述文本数据匹配的图像特性信息，并依据所述图像特性信息生成目标图像。
[0009]第二方面，本申请实施例提供了一种基于交互的图像生成装置，包括：
[0010]描述信息获取模块，用于获取基于交互组件提交的图像描述信息；所述交互组件包括内容描述输入组件和多个样式描述输入组件，所述内容描述输入组件配置为接收图像内容描述信息，所述样式描述输入组件配置为接收图像样式描述信息以及对应的信息权重；
[0011]文本数据生成模块，用于依据所述图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据；
[0012]目标图像生成模块，用于将所述描述文本数据输入图像生成模型，以由所述图像生成模型确定与所述描述文本数据匹配的图像特性信息，并依据所述图像特性信息生成目标图像。
[0013]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
[0015]与相关技术相比，本申请具有如下优点：
[0016]依据本申请实施例，通过获取基于交互组件提交的图像描述信息，其中，交互组件可以包括内容描述输入组件和多个样式描述输入组件，内容描述输入组件可以配置为接收图像内容描述信息，样式描述输入组件可以配置为接收图像样式描述信息以及对应的信息权重，再依据图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据，将描述文本数据输入图像生成模型，以由图像生成模型确定与描述文本数据匹配的图像特性信息，并依据图像特性信息生成目标图像。通过上述方案，可以提升人工智能图像生成结果的可控性，提高用户体验。
[0017]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0018]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。
[0019]图1示出了本申请实施例中提供的一种基于交互的图像生成方案的一个应用示例的示意图；
[0020]图2示出了本申请实施例中提供的一种基于交互的图像生成方案中图像生成模型的处理流程示意图；
[0021]图3示出了本申请实施例中提供的一种基于交互的图像生成方法的流程图；
[0022]图4示出了本申请实施例中提供的一种基于交互的图像生成装置的结构框图；以及
[0023]图5示出了用来实现本申请实施例的电子设备的框图。
具体实施方式
[0024]在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。
[0025]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。
[0026]如今市面上使用人工智能根据文本描述生成图像的技术方案，一般采用的是生成对抗网络模型(GAN)，这种网络模型通过模型中的判别器和生成器反复碰撞与对抗的形式生成图片，出图速度慢且耗费计算资源；另外，在前端与用户交互的部分，市面上的文本生
成图像的人工智能产品一般只为用户提供输入一段内容描述的组件，例如prompt描述(计算机编程语言中的一个方法，主要用处是显示提示对话框，在人工智能的语义生成中可以是用户输入的文本描述)。但是由于人工智能对于文本描述具有固定的程序化语言的要求，例如需要用户在输入内容描述时，将对描述内容主语、谓语、宾语等主干内容的修饰词或限定条件等，使用“逗号+空格+逗号”的形式与主干内容隔开，在用户输入的文本描述不符合相应程序化语言要求的情况下，生成的图像结果往往较为抽象，不符合用户的预期，或者需要用户不断调整描述内容，经历较长时间多轮生成才可能达到用户预期，这既浪费计算资源，又伤害用户体验。因此，有必要提出一种新的图像生成方案，用以根据用户输入的文本描述在较短的时间内生成符合用户预期的图像，以节省计算资源，提升人工智能图像生成结果的可控性，提高用户体验。
[0027]有鉴于此，本申请实施例提供了一种基于交互的图像生成的方法、装置、电子设备和存储介质，以解决上述全部或部分技术问题。
[0028]图1是本申请实施例的图像生成方案的一个应用示例的示意图。本申请实施例的方案可以实现为一种基于交互的图像生成装置，与本申请的图像生成装置相对应的，可以提供用于提交图像生成请求的客户端、页面或是程序功能插件等交互组件，用户可以基于该交互组件输入需要生成的图像的文本描述内容，由交互组件向图像生成端提交图像生成的请求，再由生成端的图像生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互的图像生成方法，包括：获取基于交互组件提交的图像描述信息；所述交互组件包括内容描述输入组件和多个样式描述输入组件，所述内容描述输入组件配置为接收图像内容描述信息，所述样式描述输入组件配置为接收图像样式描述信息以及对应的信息权重；依据所述图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据；将所述描述文本数据输入图像生成模型，以由所述图像生成模型确定与所述描述文本数据匹配的图像特性信息，并依据所述图像特性信息生成目标图像。2.根据权利要求1所述的方法，其中，所述样式描述输入组件配置为接收图像正向样式描述信息和图像负向样式描述信息；所述确定与所述描述文本数据匹配的图像特性信息包括：确定与所述描述文本数据中与图像内容描述信息以及图像正向样式描述信息正相关，且与所述图像负向样式描述信息负相关的图像特性信息。3.根据权利要求1所述的方法，其中，所述依据所述图像内容描述信息、图像样式描述信息以及信息权重生成结构化的描述文本数据包括：依据对应的信息权重对所述图像样式描述信息对应的信息权重进行排序；通过对所述图像内容描述信息以及排序后的图像样式描述信息添加的信息标识符和信息间隔符，生成编程语言格式的描述文本数据。4.根据权利要求1所述的方法，其中，所述确定与所述描述文本数据相关的图像特性信息包括：使用编码器提取所述描述文本数据对应的文本特征，并生成与所述文本特征匹配的图像特性信息作为与所述描述文本数据相关的图像特性信息。5.根据权利要求1所述的方法，其中，所述依据所述图像特性信息生成目标图像包括：获取依据随机种子生成初始图像的潜在图像表示；使用所述图像特性信息对所述初始图像的潜在图像表示进行去噪处理；使用自编码的解码器依据去噪处理后的潜在图像表示生成目标图像。6.根据权利要求5所述的方法，其中，所述使用所述图像特性信息对所述初始图像的潜在图像...

【专利技术属性】
技术研发人员：赵东恩，林啸洋，周亮，白钰，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：