【技术实现步骤摘要】
本公开涉及三维重建，具体地，涉及一种虚拟场景模型的生成方法、装置、存储介质及电子设备。
技术介绍
1、相关技术中，三维重建技术主要目是利用传感器数据进行处理，获得拍摄场景的三维模型，并用于下游任务。传统基于视觉的三维重建技术，具有较低的拍摄成本，且技术处理流程比较成熟，重建的贴图模型在主流的渲染引擎里也有很好的支持。与此同时基于纯视觉的三维重建，仍然难以处理室内弱文理、复杂细节场景，产生的三维模型的细腻度和逼真程度较差。
2、随着最近深度学习技术的发展，基于神经辐射场技术的渲染和重建技术表现出了巨大潜力，仅仅拍摄图像序列，进行处理并训练神经网络，就可以重建出拍摄对象的mesh(网格面)模型，且细节还原度较高。当前基于神经渲染的重建方案，大多数用于重建小物体或小面积室内场景，并取得了不错的效果。但是重建室内较大场景时，需要对不同区域和不同位置为场景图像进行充分拍摄，保证场景的大多数细节都被覆盖，这种图像数量较多且拍摄局部细节较多时，神经网络的参数量将难以拟合所有图像数据，此外采用较大参数的神经网络，将极大提升显存开销，增加训练成本，同时也会面临数据空间过大带来的不收敛问题。
技术实现思路
1、本公开的目的是提供一种虚拟场景模型的生成方法、装置、存储介质及电子设备，以解决相关技术中较大场景的三维重建效果较差的技术问题。
2、为了实现上述目的，本公开的第一方面，提供一种虚拟场景模型的生成方法，所述方法包括：
3、基于物理场景的多个子区域，对所述物理场景
4、分别获取所述多个子图像数据的目标参数，任一所述子图像数据的目标参数包括：相机参数、位姿参数和稀疏地图点参数中的至少一种；
5、根据所述多个子图像数据和所述多个子图像数据的目标参数，训练隐式重建模型，以生成所述多个子区域分别对应的多个网格面模型；
6、基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型。
7、可选地，所述分别获取所述多个子图像数据的目标参数，包括：
8、对第一子图像数据进行运动结构恢复sfm计算，以生成所述第一子图像数据的目标参数，所述第一子图像数据为第一子区域对应的子图像数据，所述第一子区域为所述多个子区域中的任一子区域。
9、可选地，所述基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型，包括：
10、根据第二子区域的第二稀疏地图点参数和第三子区域的第三稀疏地图点参数，对第二子图像数据和第三子图像数据进行双向暴力匹配，以确定所述第二子区域和所述第三子区域的匹配地图点对，所述第二子区域和所述第三子区域为所述多个子区域中的任意相邻子区域；
11、确定所述匹配地图点对的3d坐标位置信息；
12、根据所述3d坐标位置信息，确定所述第二子区域和所述第三子区域之间的相对尺度；
13、根据所述相对尺度，确定所述第二子区域和所述第三子区域之间的相对位姿；
14、根据所述相对尺度和所述相对位姿变换，对所述第二子区域的第二网格面模型和所述第三子区域的第三网格面模型进行对齐；
15、基于对齐的所述多个网格面模型，生成所述虚拟场景模型。
16、可选地，所述根据所述相对尺度和所述相对位姿，对所述第二子区域的第二网格面模型和所述第三子区域的第三网格面模型进行对齐，包括：
17、根据所述相对尺度对所述第三网格面模型进行尺度变换，生成目标第三网格面模型；
18、根据所述相对位姿，对所述目标第三网格面模型进行位姿变换，生成对齐后的所述第三网格面模型。
19、可选地，所述对第二子图像数据和第三子图像数据进行双向暴力匹配，确定所述第二子区域和所述第三子区域的匹配地图点对，包括：
20、在确定所述第二子图像数据和所述第三子图像数据满足预设匹配条件的情况下，根据所述第二稀疏地图点参数和所述第三稀疏地图点参数，确定匹配的多个目标稀疏地图点；
21、从所述多个目标稀疏地图点中确定匹配频次达到设定阈值的稀疏地图点为所述匹配地图点对。
22、可选地，所述基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型，包括：
23、将对齐的所述多个网格面模型投影至渲染成像空间中，以生成初始渲染模型；
24、根据所述初始渲染模型的目标位姿，通过神经渲染模型确定所述初始渲染模型中各个像素点的颜色参数；
25、根据所述颜色参数对所述初始渲染模型进行渲染，生成所述虚拟场景模型。
26、可选地，所述方法还包括：
27、根据神经渲染模型确定所述虚拟场景模型的颜色贴图和特征向量；
28、将所述虚拟场景模型、所述颜色贴图和所述特征向量导入渲染引擎进行显示。
29、根据本公开实施例的第二方面，提供一种虚拟场景模型的生成装置，所述装置包括：
30、第一生成模块，用于基于物理场景的多个子区域，对所述物理场景的场景图像进行分区采集，以生成所述多个子区域分别对应的多个子图像数据；
31、获取模块，用于分别获取所述多个子图像数据的目标参数，任一所述子图像数据的目标参数包括：相机参数、位姿参数和稀疏地图点参数中的至少一种；
32、第二生成模块，用于根据所述多个子图像数据和所述多个子图像数据的目标参数，训练隐式重建模型，以生成所述多个子区域分别对应的多个网格面模型；
33、执行模块，用于基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型。
34、根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述虚拟场景模型的生成方法的步骤。
35、根据本公开实施例的第四方面，提供一种电子设备，包括：
36、存储器，其上存储有计算机程序；
37、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述虚拟场景模型的生成方法的步骤。
38、通过上述技术方案，基于物理场景的多个子区域，对物理场景的场景图像进行分区采集，以生成多个子区域分别对应的多个子图像数据，分别获取多个子图像数据的目标参数，任一子图像数据的目标参数包括：相机参数、位姿参数和稀疏地图点参数中的至少一种，根据多个子图像数据和多个子图像数据的目标参数，训练隐式重建模型，以生成多个子区域分别对应的多个网格面模型，基于多个子图像数据的目标参数，对多个网格面模型进行对齐，生成物理场景的虚拟场景模型。从而通过分区重建的方式对较大场景进行三维重建，减轻显存开销，同时避免了数据空间过大带来的不收敛问题，使虚拟场景模本文档来自技高网...
【技术保护点】
1.一种虚拟场景模型的生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别获取所述多个子图像数据的目标参数，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述相对尺度和所述相对位姿，对所述第二子区域的第二网格面模型和所述第三子区域的第三网格面模型进行对齐，包括：
5.根据权利要求3所述的方法，其特征在于，所述对第二子图像数据和第三子图像数据进行双向暴力匹配，确定所述第二子区域和所述第三子区域的匹配地图点对，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型，包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.一种虚拟场景模型的生成装置，其特征在于，所述装置包括：
9.一种非临
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种虚拟场景模型的生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别获取所述多个子图像数据的目标参数，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个子图像数据的目标参数，对所述多个网格面模型进行对齐，生成所述物理场景的虚拟场景模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述相对尺度和所述相对位姿，对所述第二子区域的第二网格面模型和所述第三子区域的第三网格面模型进行对齐，包括：
5.根据权利要求3所述的方法，其特征在于，所述对第二子图像数据和第三子图像数据进行...
【专利技术属性】
技术研发人员：李昊鑫，刘宁，侯杰虎，李谣顺，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。