虚拟内容的生成方法及装置、电子设备、存储介质制造方法及图纸

本申请公开了一种虚拟内容的生成方法及装置、电子设备、存储介质，涉及人工智能技术领域，该方法包括：获取目标文本和目标图像。对目标图像进行语义分割处理，得到语义分割图，以及，生成目标图像的描述文本，描述文本用于从语义上对目标图像进行描述。将目标文本和描述文本进行组合，得到场景描述信息。将场景描述信息和语义分割图输入生成对抗模型中，得到合成图像，从而根据合成图像，生成虚拟内容。可见，只需用户输入图像和文字，就能够生成满足用户个性化需求的虚拟内容，提升了生成虚拟内容的灵活性，有利于实现沉浸式体验，又能够降低开发门槛及难度，增加了生成虚拟内容的开放性、创造性和自由度。创造性和自由度。创造性和自由度。

【技术实现步骤摘要】
虚拟内容的生成方法及装置、电子设备、存储介质


[0001]本申请涉及人工智能
，具体涉及一种虚拟内容的生成方法及装置、电子设备、存储介质。

技术介绍

[0002]“元宇宙”，是指利用科技手段创造的与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。在虚拟现实(virtual reality，VR)技术以及用户原创内容(user generated content，UGC)游戏社区的蓬勃发展下，虚拟游戏行业成为“元宇宙”的先发领域，已经出现基于“元宇宙”底层逻辑和虚拟体验的产品。实践中发现，当前的虚拟游戏产品存在角色和场景单调等硬性问题，因此开发者需要对大量真实世界及虚拟世界的客体进行建模，从而不断丰富多元化的虚拟角色或场景。然而，这种方式仍无法灵活满足不同用户需求，不利于实现沉浸式体验。

技术实现思路

[0003]本申请提供一种虚拟内容的生成方法及装置、电子设备、存储介质，其主要目的在于提升生成虚拟内容的灵活性，能够更好地满足不同用户需求，实现沉浸式体验。
[0004]为实现上述目的，本申请实施例提供了一种虚拟内容的生成方法，所述方法包括以下步骤：
[0005]获取目标文本和目标图像；
[0006]对所述目标图像进行语义分割处理，得到语义分割图，以及，生成所述目标图像的描述文本，所述描述文本用于从语义上对所述目标图像进行描述；
[0007]将所述目标文本和所述描述文本进行组合，得到场景描述信息；
[0008]将所述场景描述信息和所述语义分割图输入生成对抗模型中，得到合成图像；
[0009]根据所述合成图像，生成虚拟内容。
[0010]在一些实施例中，所述目标文本包括至少一个第一字段，所述描述文本包括至少一个第二字段；所述将所述目标文本和所述描述文本进行组合，得到场景描述信息，包括：
[0011]将所述第一字段与所述第二字段进行配对，得到配对结果；根据所述配对结果，从多个预设的结构化模板中获取目标模板；将所述配对结果代入所述目标模板中，得到场景描述信息。
[0012]在一些实施例中，所述生成所述目标图像的描述文本，包括：
[0013]从所述目标图像中识别出多个检测目标，并生成所述检测目标对应的描述词汇；对所有所述描述词汇进行排序，得到描述词汇序列；将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本。
[0014]在一些实施例中，所述生成模型的训练步骤包括：
[0015]获取图像样本以及所述图像样本对应的多个描述标签；
[0016]对所述多个描述标签进行排序，得到第一序列；
[0017]对所述第一序列中包含的描述标签进行随机遮挡处理，得到第二序列；
[0018]利用所述图像样本和所述第二序列对生成模型进行训练，得到第一训练结果；
[0019]利用所述第一序列验证所述第一训练结果是否满足第一训练结束条件，若满足所述第一训练结束条件，则结束训练；若不满足所述第一训练结束条件，则重新执行所述获取图像样本以及所述图像样本对应的多个描述标签的步骤。
[0020]在一些实施例中，所述对所有所述描述词汇进行排序，得到描述词汇序列，包括：
[0021]对所有所述描述词汇进行语序调整，得到第三序列；
[0022]在所述第三序列中插入至少一个文本符，得到描述词汇序列；
[0023]所述将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本，包括：
[0024]将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到每个所述文本符对应的候选文本以及所述候选文本的概率，并将概率最大的候选文本确定为所述文本符的匹配文本；
[0025]将所有所述描述词汇以及所述匹配文本确定为所述目标图像的描述文本。
[0026]在一些实施例中，所述将所述场景描述信息和所述语义分割图输入生成对抗模型中，得到合成图像，包括：
[0027]从预设数据集中获取与所述场景描述信息匹配的第一真实图像；将所述第一真实图像和所述语义分割图输入生成对抗模型中，得到合成图像。
[0028]在一些实施例中，所述生成对抗模型包括生成器和判别器，所述生成对抗模型的训练步骤包括：
[0029]获取分割图样本和场景描述样本；
[0030]从所述预设数据集中获取与所述场景描述样本匹配的第二真实图像；
[0031]将所述分割图样本输入生成器中，得到第一生成图像；
[0032]在所述第一生成图像中增加随机噪声，得到第二生成图像；
[0033]将所述第二生成图像和所述第二真实图像输入判别器中，得到判别结果；
[0034]若根据所述判别结果判定所述第二生成图像与所述第二真实图像满足指定区分条件，则训练结束；若判定所述第二生成图像与所述第二真实图像不满足所述指定区分条件，则根据所述判别结果调整所述生成器的参数，再执行所述获取分割图样本和场景描述样本的步骤。
[0035]为实现上述目的，本申请实施例还提出了一种虚拟内容的生成装置，所述装置包括：
[0036]获取模块，用于获取目标文本和目标图像；
[0037]语义分割模块，用于对所述目标图像进行语义分割处理，得到语义分割图；
[0038]描述模块，用于生成所述目标图像的描述文本，所述描述文本用于从语义上对所述目标图像进行描述；
[0039]组合模块，用于将所述目标文本和所述描述文本进行组合，得到场景描述信息；
[0040]第一生成模块，用于将所述场景描述信息和所述语义分割图输入生成对抗模型中，得到合成图像；
[0041]第二生成模块，用于根据所述合成图像，生成虚拟内容。
[0042]为实现上述目的，本申请实施例还提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有程序，所述程序被所述处理器执行时实现前述方法的步骤。
[0043]为实现上述目的，本申请提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
[0044]本申请提出的虚拟内容的生成方法及装置、电子设备、存储介质，通过获取目标文本和目标图像，可以对目标图像进行语义分割处理，得到语义分割图，并生成目标图像的描述文本，描述文本用于从语义上对目标图像进行描述。基于此，将目标文本和描述文本进行组合，得到场景描述信息，故场景描述信息可以完整描述目标文本以及目标图像所包含的语义特征，实现多模态特征之间的融合，进一步强化了语义理解的准确度。最后，将场景描述信息和语义分割图输入生成对抗模型中，即可得到合成图像，从而根据合成图像生成虚拟内容。可见，只需用户输入图像和文字，就能够生成满足用户个性化需求的虚拟内容，提升了生成虚拟内容的灵活性，有利于实现沉浸式体验，又能够降低开发门槛及难度，增加了生成虚拟内容的开放性、创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟内容的生成方法，其特征在于，所述方法包括：获取目标文本和目标图像；对所述目标图像进行语义分割处理，得到语义分割图，以及，生成所述目标图像的描述文本，所述描述文本用于从语义上对所述目标图像进行描述；将所述目标文本和所述描述文本进行组合，得到场景描述信息；将所述场景描述信息和所述语义分割图输入生成对抗模型中，得到合成图像；根据所述合成图像，生成虚拟内容。2.根据权利要求1所述的方法，其特征在于，所述目标文本包括至少一个第一字段，所述描述文本包括至少一个第二字段；所述将所述目标文本和所述描述文本进行组合，得到场景描述信息，包括：将所述第一字段与所述第二字段进行配对，得到配对结果；根据所述配对结果，从多个预设的结构化模板中获取目标模板；将所述配对结果代入所述目标模板中，得到场景描述信息。3.根据权利要求1所述的方法，其特征在于，所述生成所述目标图像的描述文本，包括：从所述目标图像中识别出多个检测目标，并生成所述检测目标对应的描述词汇；对所有所述描述词汇进行排序，得到描述词汇序列；将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本。4.根据权利要求3所述的方法，其特征在于，所述生成模型的训练步骤包括：获取图像样本以及所述图像样本对应的多个描述标签；对所述多个描述标签进行排序，得到第一序列；对所述第一序列中包含的描述标签进行随机遮挡处理，得到第二序列；利用所述图像样本和所述第二序列对生成模型进行训练，得到第一训练结果；利用所述第一序列验证所述第一训练结果是否满足第一训练结束条件，若满足所述第一训练结束条件，则结束训练；若不满足所述第一训练结束条件，则重新执行所述获取图像样本以及所述图像样本对应的多个描述标签的步骤。5.根据权利要求3所述的方法，其特征在于，所述对所有所述描述词汇进行排序，得到描述词汇序列，包括：对所有所述描述词汇进行语序调整，得到第三序列；在所述第三序列中插入至少一个文本符，得到描述词汇序列；所述将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本，包括：将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到每个所述文本符对应的候选文本以及所述候选文本的概率，并将概率...

【专利技术属性】
技术研发人员：司世景，王健宗，李泽远，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：