长文本生成图像的方法及系统技术方案

本发明专利技术提供了一种长文本生成图像的方法及系统，该方法包括：在潜在空间中随机获取一特征向量，并将所述特征向量输入至预设全连接层中，以生成对应的初始特征图；通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中，以生成对应的中间特征图；依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理，以生成对应的目标图像，所述目标图像包含所述预设长文本特征中的特征元素。通过上述方式能够将外界的长文本特征对应融合至随机生成的初始特征图中，并最终根据该初始特征图生成需要的目标图像，并且该目标图像包含与上述长文本特征对应的特征元素，即对应的场景图像。即对应的场景图像。即对应的场景图像。

【技术实现步骤摘要】
长文本生成图像的方法及系统


[0001]本专利技术涉及数据处理
，特别涉及一种长文本生成图像的方法及系统。

技术介绍

[0002]场景设计主要是指动画影视片中的一切事务的造型设计，即是一种具有空间层次感的场面构图。现有的场景设计师在进行场景设计的过程中，都需要使用专门的场景设计软件，以制作出高质量的景观图像以及动画。
[0003]其中，现有技术大部分通过编辑特定的文本，并将该文本输入至场景设计软件中，以生成对应的场景图像，用于后续方案的预览以及评估。
[0004]然而，现有技术大部分只能处理用户输入的短文本，而对长文本的处理能力不足，导致不能生成与用户输入的长文本相对应的场景图像，同时生成的场景图像缺乏细节以及多样性，从而对应降低了用户的使用体验。

技术实现思路

[0005]基于此，本专利技术的目的是提供一种长文本生成图像的方法及系统，以解决现有技术大部分只能处理用户输入的短文本，而对长文本的处理能力不足，导致不能生成与用户输入的长文本相对应的场景图像，同时生成的场景图像缺乏细节以及多样性，从而对应降低了用户的使用体验的问题。
[0006]本专利技术实施例第一方面提出了一种长文本生成图像的方法，所述方法包括：在潜在空间中随机获取一特征向量，并将所述特征向量输入至预设全连接层中，以生成对应的初始特征图；通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中，以生成对应的中间特征图；依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理，以生成对应的目标图像，所述目标图像包含所述预设长文本特征中的特征元素。
[0007]本专利技术的有益效果是：通过在潜在空间中随机获取一特征向量，并将所述特征向量输入至预设全连接层中，以生成对应的初始特征图；进一步的，通过预设处理模块将预设长文本特征对应融合至所述初始特征图中，以生成对应的中间特征图；最后只需依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理，以生成对应的目标图像，所述目标图像包含所述预设长文本特征中的特征元素。通过上述方式能够将外界的长文本特征对应融合至随机生成的初始特征图中，并最终根据融合后的初始特征图生成需要的目标图像，并且该目标图像包含与上述长文本特征对应的特征元素，即对应的场景图像，从而能够满足用户的使用需求，对应提升了用户的使用体验。
[0008]优选的，所述通过预设处理模块将预设长文本特征对应融合至所述初始特征图中的步骤包括：识别出所述预设长文本特征中的特性文本、元素文本以及指令文本，并分别将所
述特性文本、所述元素文本以及所述指令文本对应输入至所述预设的特性文本编码器、元素文本编码器以及指令文本编码器中；通过所述特性文本编码器和所述元素文本编码器分别对所述特性文本以及所述元素文本进行双向长短时记忆网络编码，以分别生成对应的特性文本特征以及元素文本特征，并通过所述指令文本编码器对所述指令文本进行层次化长短时记忆网络编码，以生成对应的指令文本特征；将所述特性文本特征、所述元素文本特征以及所述指令文本特征分别对应融合至所述初始特征图中。
[0009]优选的，所述将所述特性文本特征、所述元素文本特征以及所述指令文本特征分别对应融合至所述初始特征图中的步骤包括：将所述特性文本特征和所述元素文本特征同时输入至预设元素特性融合块中，以生成对应的元素特性特征，并将所述元素文本特征以及所述指令文本特征输入至预设指令元素融合块中，以生成对应的指令元素特征；将所述元素特性特征以及所述指令元素特征对应输入至所述初始特征图中，以对所述初始特征图进行融合处理。
[0010]优选的，所述将所述元素特性特征以及所述指令元素特征对应输入至所述初始特征图中，以对所述初始特征图进行融合处理的步骤包括：将所述元素特性特征以及所述初始特征图同时输入至预设元素特性融合块中，并通过所述预设元素特性融合快中的元素特性仿射变换以及所述元素特性特征对所述初始特征图进行通道仿射变换处理；将所述特性文本特征、所述元素文本特征以及通道仿射变换处理后的初始特征图输入至预设第一步骤要素融合器中，以将所述特性文本特征、所述元素文本特征分步骤要素融入生成对应的中间特征图，并将所述中间特征图通过所述预设元素特性融合快和所述预设第一步骤要素融合器三次融合处理后得到第一融合特征图；将所述第一融合特征图输入至预设指令元素融合块中，并通过指令元素仿射变换以及所述指令元素特征对所述初始特征图进行通道仿射变换处理；将所述元素文本特征、所述指令文本特征以及通道仿射变换处理后的初始特征图同时输入至预设第二步骤要素融合器中，以将所述元素文本特征、所述指令文本特征分步骤要素融入生成对应的所述中间特征图，并将所述中间特征图通过所述预设指令元素融合块和所述预设第二步骤要素融合器三次融合处理后得到第二融合特征图，以将所述第一融合特征图和所述第二融合特征图经过卷积和激活形成目标图像。
[0011]优选的，所述依次通过预设卷积层和预设激活层对所述第二融合特征图进行图像化处理，以生成对应的目标图像的步骤之后，所述方法还包括：当获取到所述目标图像时，将所述目标图像传输至若干个下采样块中，以获取到对应的采样图像；将所述采样图像输入至空间注意力模型中，以使所述空间注意力模型输出对应的图像特征；根据所述图像特征判断出所述目标图像的真假。
[0012]优选的，所述方法还包括：
建立与预设显示终端的无线通讯连接，并将所述目标图像转换成对应的显示信号，所述显示信号与所述预设显示终端适配；将所述显示信号传输至所述预设显示终端内，以在所述预设显示终端内实时显示出所述目标图像。
[0013]优选的，所述目标图像由若干个步骤要素融合特征图组成，所述步骤要素融合特征图包含若干个特征通道，每一所述特征通道均具有唯一性。
[0014]本专利技术实施例第二方面提出了一种长文本生成图像的系统，所述系统包括：获取模块，用于在潜在空间中随机获取一特征向量，并将所述特征向量输入至预设全连接层中，以生成对应的初始特征图；第一处理模块，用于通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中，以生成对应的中间特征图；第二处理模块，用于依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理，以生成对应的目标图像，所述目标图像包含所述预设长文本特征中的特征元素。
[0015]其中，上述长文本生成图像的系统中，所述第一处理模块具体用于：识别出所述预设长文本特征中的特性文本、元素文本以及指令文本，并分别将所述特性文本、所述元素文本以及所述指令文本对应输入至所述预设的特性文本编码器、元素文本编码器以及指令文本编码器中；通过所述特性文本编码器和所述元素文本编码器分别对所述特性文本以及所述元素文本进行双向长短时记忆网络编码，以分别生成对应的特性文本特征以及元素文本特征，并通过所述指令文本编码器对所述指令文本进行层次化长短时记忆网络编码，以生成对应的指令文本特征；将所述特性文本特征、所述元素文本特征以及所述指令文本特征分别对应融合至所述初始特征图中。
[0016]其中，上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种长文本生成图像的方法，其特征在于，所述方法包括：在潜在空间中随机获取一特征向量，并将所述特征向量输入至预设全连接层中，以生成对应的初始特征图；通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中，以生成对应的中间特征图；依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理，以生成对应的目标图像，所述目标图像包含所述预设长文本特征中的特征元素。2.根据权利要求1所述的长文本生成图像的方法，其特征在于：所述通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中的步骤包括：识别出所述预设长文本特征中的特性文本、元素文本以及指令文本，并分别将所述特性文本、所述元素文本以及所述指令文本对应输入至特性文本编码器、元素文本编码器以及指令文本编码器中；通过所述特性文本编码器和所述元素文本编码器分别对所述特性文本以及所述元素文本进行双向长短时记忆网络编码，以分别生成对应的特性文本特征以及元素文本特征，并通过所述指令文本编码器对所述指令文本进行层次化长短时记忆网络编码，以生成对应的指令文本特征；将所述特性文本特征、所述元素文本特征以及所述指令文本特征分别对应融合至所述初始特征图中。3.根据权利要求2所述的长文本生成图像的方法，其特征在于：所述将所述特性文本特征、所述元素文本特征以及所述指令文本特征分别对应融合至所述初始特征图中的步骤包括：将所述特性文本特征和所述元素文本特征同时输入至预设元素特性融合块中，所述特性文本特征和所述元素文本特征在所述预设元素特性融合块中相互融合以生成对应的元素特性特征，并将所述元素文本特征以及所述指令文本特征同时输入至预设指令元素融合块中，所述元素文本特征和所述指令文本特征在所述预设指令元素融合块中相互融合以生成对应的指令元素特征；将所述元素特性特征以及所述指令元素特征对应输入至所述初始特征图中，以对所述初始特征图进行融合处理。4.根据权利要求3所述的长文本生成图像的方法，其特征在于：所述将所述元素特性特征以及所述指令元素特征对应输入至所述初始特征图中，以对所述初始特征图进行融合处理的步骤包括：将所述元素特性特征以及所述初始特征图同时输入至预设元素特性融合块中，并通过所述预设元素特性融合块中的元素特性仿射变换以及所述元素特性特征对所述初始特征图进行通道仿射变换处理；将所述特性文本特征、所述元素文本特征以及通道仿射变换处理后的初始特征图同时输入至预设第一步骤要素融合器中，以将所述特性文本特征、所述元素文本特征分步骤要素融入生成对应的中间特征图，并将所述中间特征图通过所述预设...

【专利技术属性】
技术研发人员：杨文姬，安航，杨振姬，马欣欣，钱文彬，
申请(专利权)人：江西农业大学，
类型：发明
国别省市：