【技术实现步骤摘要】
本专利技术涉及3d场景模型，具体是一种基于场景描述和草图生成三维虚拟场景的方法和系统。
技术介绍
1、随着人工智能技术的日益成熟，ai作画正在成为新的创意和艺术媒介，而google研究人员推出了“神经辐射场”（nerf），可以从2d图像（例如照片）中提取3d深度数据，进而可以使用从不同角度拍摄的几张照片创建纹理3d模型。
2、ai生成3d的未来发展前景非常广阔，随着人工智能技术的进一步发展和应用，ai生成3d将会越来越成为人们创造和探索虚拟世界的主要工具之一。未来，ai生成3d可以进行更为复杂和精细的3d建模，帮助人们更好地构建和理解虚拟现实世界。
3、现有的技术研究主要集中在几个领域：从文字生成3d对象模型；从草图生成三维虚拟场景；从2d地形图生成3d地形；其中使用ai从文本提示生成3d场景的过程详细描述；数据收集和准备、数据预处理、ai模型架构、文本到场景编码、3d场景生成、场景组装、渲染、评估和优化、部署、持续改进。从文本提示生成逼真的3d场景是一项具有挑战性的任务，生成场景的质量严重依赖于ai模型的复杂性、训练数据的质量和数量以及模型中融入的领域特定知识。现有的技术大都集中在单个点或者单种技术手段上，但实际工作中的应用场景更多的还是有明确预期、明确应用场景的。
技术实现思路
1、本专利技术的目的在于提供一种基于场景描述和草图生成三维虚拟场景的方法和系统，本专利技术主要解决在创作者对于场景已经有一个基本的构思，对于场景内的物件已经有一定的选择情况下，如
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于场景描述和草图生成三维虚拟场景的方法，所述方法包括以下步骤：
4、s1、通过自然语言处理技术解析对场景的文字描述，提取其中的关键特征和要素；
5、s2、通过图像识别技术，识别草图中的对象，对草图内容进行语义化，解析草图中的对象及其相互之间的空间关系；
6、s3、通过对象检索技术，从系统素材库中检索匹配的、符合场景描述的3d资源模型，其中，所述系统素材库来自于创作者的积累，或者根据实际剧情等选择的道具库构建；
7、s4、如果检索到匹配的3d资源模型，则将该3d资源模型置入3d场景，并根据草图中的对象尺寸、位置等进行模型变换；
8、s5、如果没有检索到匹配的3d资源模型，则通过aigc生成符合场景描述的3d资源模型，并根据草图中的对象尺寸和位置进行模型变换；
9、s6、通过aigc技术在场景中补充草图中缺失的、但符合场景描述的3d资源模型；
10、s7、根据目标场景描述，对场景进行统一的风格变换，并输出最终的3d场景模型。
11、作为本专利技术进一步的技术方案，在步骤s1中，所述场景的文字描述是创作者对目标场景进行的描述，比如黄昏下的湖边等。
12、作为本专利技术进一步的技术方案，在步骤s2中，所述草图是创作者用来描述自己对场景构建的预期，包括场景中不同对象的组织、布置等。
13、本专利技术实施例的另一目的在于提供一种基于场景描述和草图生成三维虚拟场景的系统，所述系统包括：
14、场景描述解析模块，用于通过自然语言处理技术解析对场景的文字描述，提取其中的关键特征和要素；
15、图像识别解析模块，用于通过图像识别技术，识别草图中的对象，对草图内容进行语义化，解析草图中的对象及其相互之间的空间关系；
16、对象检索匹配模块，用于通过对象检索技术，从系统素材库中检索匹配的、符合场景描述的3d资源模型，其中，所述系统素材库来自于创作者的积累，或者根据实际剧情等选择的道具库构建；
17、资源模型置入模块，用于如果检索到匹配的3d资源模型，则将该3d资源模型置入3d场景，并根据草图中的对象尺寸、位置等进行模型变换；
18、资源模型生成模块，用于如果没有检索到匹配的3d资源模型，则通过aigc生成符合场景描述的3d资源模型，并根据草图中的对象尺寸和位置进行模型变换；
19、资源模型补充模块，用于通过aigc技术在场景中补充草图中缺失的、但符合场景描述的3d资源模型；
20、场景风格变换模块，用于根据目标场景描述，对场景进行统一的风格变换，并输出最终的3d场景模型。
21、与现有技术相比，本专利技术的有益效果是：本专利技术提供了一种基于场景描述和草图生成三维虚拟场景的方法和系统，本专利技术主要针对实际使用场景，综合应用多种技术手段，在创作者对于场景已经有一个基本的构思，对于场景内的物件已经有一定的选择情况下，如何通过ai快速构建3d场景，并对场景进行统一的风格化，以期满足最终的体验效果，从而让ai技术的发展，真正能够服务场景创作者的实际工作需求。
本文档来自技高网...【技术保护点】
1.一种基于场景描述和草图生成三维虚拟场景的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于场景描述和草图生成三维虚拟场景的方法，其特征在于，在步骤S1中，所述场景的文字描述是创作者对目标场景进行的描述。
3.根据权利要求2所述的一种基于场景描述和草图生成三维虚拟场景的方法，其特征在于，在步骤S2中，所述草图是创作者用来描述自己对场景构建的预期。
4.一种基于场景描述和草图生成三维虚拟场景的系统，其特征在于，所述系统包括：
【技术特征摘要】
1.一种基于场景描述和草图生成三维虚拟场景的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于场景描述和草图生成三维虚拟场景的方法，其特征在于，在步骤s1中，所述场景的文字描述是创作者对目标场景进行的描述。<...
【专利技术属性】
技术研发人员：郭凤威，屠翔，潘紫良，杨海明，何梦帅，
申请(专利权)人：视伴科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。