【技术实现步骤摘要】
本专利技术涉及数字孪生，具体为一种面向数字孪生场景构建的神经辐射场系统。
技术介绍
1、数字孪生系统的核心是通过传感器、数据处理和模拟仿真构建一个精确的、虚拟的物理世界模型能实时反映实际物理系统的结构、行为和性能，在数字孪生系统中，三维模型扮演着核心角色，精确的三维模型能为传感器数据提高更丰富的信息、提升系统的分析能力，三维模型能够为实际世界物理对象提供高度精确的数字表示，精准捕捉其几何形状、结构和特征，保证数字模型准确地反映出现实情况，通过三维模型，系统能够呈现出直观的可视化和仿真效果，使用户能够更深入地理解系统的运行情况，观察不同条件下的变化，三维模型不仅仅是一个静态的几何表示，更是一种动态的工具，它与实际系统进行交互、演化，为深度理解和优化物理系统提供了重要的支持。
2、数字孪生的三维模型构建在实践中面临三大挑战，第一，周期长，涉及到3d场景建模的项目，在实施过程中往往需要花费大量的时间和人力在3d场景的搭建上，第二，成本高，高度详细和复杂的三维模型需要大量的计算资源进行构建和更新，直接导致在资源有限的环境中性能下降，特别是对于需要实时模拟和分析的系统，第三，数据采集和模型精度，获取真实世界物体的准确数据是构建精确三维模型的先决条件，然而，数据的采集可能受到限制，包括传感器精度、数据稀疏性以及获取多样性的挑战，会导致构建的三维模型精度较低，基于此，特提出一种面向数字孪生场景构建的神经辐射场系统，可实现对数字孪生三维场景的高效精准建模，通过引入云边协同架构提升数据采集的效率，结合增量式sfm算法优化三维场景的位姿
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种面向数字孪生场景构建的神经辐射场系统，解决了上述的问题。
3、(二)技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：一种面向数字孪生场景构建的神经辐射场系统，包括边缘端和云端，所述边缘端和云端之间通过局域网进行通信；
5、所述边缘端包括移动机器人、相机和ros系统，所述相机和ros系统之间进行通信连接，所述ros系统用于采集相机获取三维场景数据，根据三维场景数据制作数据集，并生成相机位姿；
6、所述ros系统与位姿验证模块对接，所述位姿验证模块用于对相机位姿进行合格判断，并将判断合格的相机位姿传输至云端；
7、所述云端包括数据库、计算模块和神经辐射场nerf三维重建单元，所述数据库用于接收相接位姿数据，所述计算模块分别与神经辐射场nerf三维重建单元和数据库对接，用于从数据库中调取数据集后对神经辐射场nerf三维重建单元中搭建的三维重建模型进行训练渲染，并将训练后的最终模型保存至数据库中。
8、本专利技术进一步设置为：所述ros系统包括数据采集模块、opencv库和相机位姿生成模块；
9、所述数据采集模块用于通过rosbag功能采集相机获取的三维场景数据；
10、所述opencv库用于进行数据切分，将三维场景数据切割成图片序列，制作数据集；
11、所述相机位姿生成模块用于通过增量式sfm算法对数据集进行特征匹配和稀疏重建，后以位姿信息越完整作为评估标准，通过帧率提取实验，获取实验对象训练集的最佳图片数量，求解最优位姿，生成相机位姿。
12、本专利技术进一步设置为：所述增量式sfm算法用于通过sift、surf或orb特征提取算法进行特征点提取，通过ransac算法进行特征匹配，并通过bundle adjustment非线性优化方法对相机参数进行全局优化。
13、本专利技术进一步设置为：所述位姿验证模块用于在判断相机位姿不合格时，控制数据采集模块重新采集相机获取的三维场景数据。
14、本专利技术进一步设置为：所述计算模块包括cpu集群和gpu集群。
15、本专利技术进一步设置为：所述神经辐射场nerf三维重建单元包括数据加载模块、nerf网络重构模块、raybatch构建模块、渲染模块和损失计算模块，所述数据加载模块与nerf网络重构模块对接，所述nerf网络重构模块与raybatch构建模块对接，所述raybatch构建模块与渲染模块对接，所述渲染模块与损失计算模块对接；
16、所述数据加载模块包括原始数据读取模块、目标分辨率图像创建模块、中心重定义模块和渲染pose计算模块，所述原始数据读取模块与目标分辨率图像创建模块对接，所述目标分辨率图像创建模块与中心重定义模块对接，所述中心重定义模块与渲染pose计算模块对接。
17、本专利技术进一步设置为：所述raybatch构建模块包括位置编码模块、模型初始化模块、批量处理数据函数模块和优化器定义模块，所述位置编码模块与模型初始化模块对接，所述模型初始化模块与批量处理数据函数模块对接，所述批量处理数据函数模块与优化器定义模块对接。
18、本专利技术进一步设置为：所述渲染模块包括coarse网络推断模块、coarse raw数据转换模块、fine pdf采样模块、fine网络推断模块和fine raw数据转换模块，所述coarse网络推断模块与coarse raw数据转换模块对接，所述coarse raw数据转换模块与fine pdf采样模块对接，所述fine pdf采样模块与fine网络推断模块对接，所述fine网络推断模块与fine raw数据转换模块对接。
19、(三)有益效果
20、本专利技术提供了一种面向数字孪生场景构建的神经辐射场系统。具备以下有益效果：
21、(1)本专利技术通过云边协同整体架构的设计，并将数字孪生三维模型的构建任务切分为多个子任务，边缘端主要完成数据采集、切分、清洗及sfm算法求解位姿的繁琐任务，云端主要完成nerf算法训练、数字模型更新的计算量大的任务，引入云边协同架构提升数据采集的效率，结合增量式sfm算法优化三维场景的位姿信息，利用神经辐射场nerf技术高效构建三维场景的数字模型，弥补了三维重建技术的不足，能有效提升数字孪生模型构建的效率，为数字孪生三维场景的高效精准建模提供保障。
22、(2)本专利技术通过神经辐射场结合云边协同架构的三维重建方法为数字孪生场景的构建提供一种创新建模方案，解决bim建模、cad建模及逆向建模中存在的成本高、周期长、数据采集难度大、模型精度低的问题。
23、(3)本专利技术通过基于二值描述子及其匹配优化的增量式sfm算法，解决无序图像相机位姿重建不准确的问题。
24、(4)本专利技术通过使用多分辨率哈希编码，引入新的光线行进方案以及将样本压缩到密集缓冲区的手段优化基础nerf算法，解决基础nerf算法中的模型精度低、训练时间长的问题，进一步提升了数字孪生场景构建的效率。
本文档来自技高网...【技术保护点】
1.一种面向数字孪生场景构建的神经辐射场系统，其特征在于：包括边缘端和云端，所述边缘端和云端之间通过局域网进行通信；
2.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述ROS系统包括数据采集模块、OpenCV库和相机位姿生成模块；
3.根据权利要求2所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述增量式SFM算法用于通过SIFT、SURF或ORB特征提取算法进行特征点提取，通过RANSAC算法进行特征匹配，并通过Bundle Adjustment非线性优化方法对相机参数进行全局优化。
4.根据权利要求2所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述位姿验证模块用于在判断相机位姿不合格时，控制数据采集模块重新采集相机获取的三维场景数据。
5.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述计算模块包括CPU集群和GPU集群。
6.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述神经辐射场NeRF三维
7.根据权利要求6所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述Raybatch构建模块包括位置编码模块、模型初始化模块、批量处理数据函数模块和优化器定义模块，所述位置编码模块与模型初始化模块对接，所述模型初始化模块与批量处理数据函数模块对接，所述批量处理数据函数模块与优化器定义模块对接。
8.根据权利要求6所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述渲染模块包括Coarse网络推断模块、Coarse raw数据转换模块、Fine pdf采样模块、Fine网络推断模块和Fine raw数据转换模块，所述Coarse网络推断模块与Coarse raw数据转换模块对接，所述Coarse raw数据转换模块与Fine pdf采样模块对接，所述Fine pdf采样模块与Fine网络推断模块对接，所述Fine网络推断模块与Fine raw数据转换模块对接。
...【技术特征摘要】
1.一种面向数字孪生场景构建的神经辐射场系统，其特征在于：包括边缘端和云端，所述边缘端和云端之间通过局域网进行通信；
2.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述ros系统包括数据采集模块、opencv库和相机位姿生成模块；
3.根据权利要求2所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述增量式sfm算法用于通过sift、surf或orb特征提取算法进行特征点提取，通过ransac算法进行特征匹配，并通过bundle adjustment非线性优化方法对相机参数进行全局优化。
4.根据权利要求2所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述位姿验证模块用于在判断相机位姿不合格时，控制数据采集模块重新采集相机获取的三维场景数据。
5.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述计算模块包括cpu集群和gpu集群。
6.根据权利要求1所述的一种面向数字孪生场景构建的神经辐射场系统，其特征在于：所述神经辐射场nerf三维重建单元包括数据加载模块、nerf网络重构模块、r...
【专利技术属性】
技术研发人员：邱鸿华，郭建文，郑焱，李圣周，张玮杰，涂杜伟，谭宗豪，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。