虚拟内容的生成方法及装置、电子设备、存储介质制造方法及图纸

本申请公开了一种虚拟内容的生成方法及装置、电子设备、存储介质，涉及人工智能技术领域，该方法包括：获取目标文本和目标图像。对目标图像进行语义分割处理，得到语义分割图，以及，生成目标图像的描述文本，描述文本用于从语义上对目标图像进行描述。将目标文本和描述文本进行组合，得到场景描述信息。将场景描述信息和语义分割图输入生成对抗模型中，得到合成图像，从而根据合成图像，生成虚拟内容。可见，只需用户输入图像和文字，就能够生成满足用户个性化需求的虚拟内容，提升了生成虚拟内容的灵活性，有利于实现沉浸式体验，又能够降低开发门槛及难度，增加了生成虚拟内容的开放性、创造性和自由度。创造性和自由度。创造性和自由度。

【技术实现步骤摘要】
虚拟内容的生成方法及装置、电子设备、存储介质


[0001]本申请涉及人工智能
，具体涉及一种虚拟内容的生成方法及装置、电子设备、存储介质。

技术介绍

[0002]“元宇宙”，是指利用科技手段创造的与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。在虚拟现实(virtual reality，VR)技术以及用户原创内容(user generated content，UGC)游戏社区的蓬勃发展下，虚拟游戏行业成为“元宇宙”的先发领域，已经出现基于“元宇宙”底层逻辑和虚拟体验的产品。实践中发现，当前的虚拟游戏产品存在角色和场景单调等硬性问题，因此开发者需要对大量真实世界及虚拟世界的客体进行建模，从而不断丰富多元化的虚拟角色或场景。然而，这种方式仍无法灵活满足不同用户需求，不利于实现沉浸式体验。

技术实现思路

[0003]本申请提供一种虚拟内容的生成方法及装置、电子设备、存储介质，其主要目的在于提升生成虚拟内容的灵活性，能够更好地满足不同用户需求，实现沉浸式体验。
[0004]为实现上述目的，本申请实施例提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟内容的生成方法，其特征在于，所述方法包括：获取目标文本和目标图像；对所述目标图像进行语义分割处理，得到语义分割图，以及，生成所述目标图像的描述文本，所述描述文本用于从语义上对所述目标图像进行描述；将所述目标文本和所述描述文本进行组合，得到场景描述信息；将所述场景描述信息和所述语义分割图输入生成对抗模型中，得到合成图像；根据所述合成图像，生成虚拟内容。2.根据权利要求1所述的方法，其特征在于，所述目标文本包括至少一个第一字段，所述描述文本包括至少一个第二字段；所述将所述目标文本和所述描述文本进行组合，得到场景描述信息，包括：将所述第一字段与所述第二字段进行配对，得到配对结果；根据所述配对结果，从多个预设的结构化模板中获取目标模板；将所述配对结果代入所述目标模板中，得到场景描述信息。3.根据权利要求1所述的方法，其特征在于，所述生成所述目标图像的描述文本，包括：从所述目标图像中识别出多个检测目标，并生成所述检测目标对应的描述词汇；对所有所述描述词汇进行排序，得到描述词汇序列；将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本。4.根据权利要求3所述的方法，其特征在于，所述生成模型的训练步骤包括：获取图像样本以及所述图像样本对应的多个描述标签；对所述多个描述标签进行排序，得到第一序列；对所述第一序列中包含的描述标签进行随机遮挡处理，得到第二序列；利用所述图像样本和所述第二序列对生成模型进行训练，得到第一训练结果；利用所述第一序列验证所述第一训练结果是否满足第一训练结束条件，若满足所述第一训练结束条件，则结束训练；若不满足所述第一训练结束条件，则重新执行所述获取图像样本以及所述图像样本对应的多个描述标签的步骤。5.根据权利要求3所述的方法，其特征在于，所述对所有所述描述词汇进行排序，得到描述词汇序列，包括：对所有所述描述词汇进行语序调整，得到第三序列；在所述第三序列中插入至少一个文本符，得到描述词汇序列；所述将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到所述目标图像的描述文本，包括：将所述描述词汇序列和所述目标图像输入预先确定的生成模型中，得到每个所述文本符对应的候选文本以及所述候选文本的概率，并将概率...

【专利技术属性】
技术研发人员：司世景，王健宗，李泽远，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：