本发明专利技术提出了一种基于orbslam3初始化的三维高斯渲染方法及装置，利用ROS系统对传感器数据采集进行处理用于orbslam3系统中，再利用orbslam3获取用以训练三维高斯的相机位姿和三维点云数据，先通过三维高斯渲染训练算法对场景中三维高斯体进行训练，然后通过渲染器对场景中的三维高斯体进行渲染和输出，得到最终三维重建的结果；相比现有利用colmap进行三维高斯渲染，本发明专利技术能够在不添加硬件设备的情况下，合理利用GPU资源，节省优化时间，在合理的时间内实现更优质的三维重建质量。
【技术实现步骤摘要】
本专利技术涉及三维重建，尤其涉及一种基于orbslam3初始化的三维高斯渲染方法及装置。
技术介绍
1、三维重建是指从单张二维图像或多张二维图像中重建出物体的三维模型，并对三维模型进行纹理映射的过程。随着社会和科学技术的发展，三维重建技术需求也越来越多。三维重建可获取从任意视角观测并具有色彩纹理的三维模型，也是计算机视觉领域的一个重要研究方向。三维高斯渲染是一种基于三维高斯体的场景重建和渲染技术，这种技术通过使用高斯分布来表示场景中的点云数据，并在渲染过程中将这些点云数据转换为高斯体。高斯体的特性使得它可以高效地模拟场景中的光线传播和散射，从而实现高效的实时渲染。
2、现有技术一般利用colmap方法生成初始点云并计算准确的相机位姿，再通过初始点云和求解的相机位姿，而后输入三维高斯渲染系统进行三维高斯渲染的正向传播和反向传播操作。
3、基于colmap的三维重建方式虽然重建精度高、效果好，但是有以下两个缺点：
4、1)基于colmap的三维重建方法的优化时间随图像序列数量成指数倍增加，系统无法在可接受时间范围内处理大量图像的输入。
5、2)基于colmap的三维重建系统最终输出的地图结果是由很多三维点云所组成的点云模型，该三维表示方式第一由于点云数据的稀疏和不规则性，后处理(如点云分割、去噪、表面重建等)变得更加复杂和耗时，不利于用于下游任务。
6、因此，目前关于三维高斯渲染方法的优化方式，仍有待于进一步完善。
技术实现思路
<
p>1、有鉴于此，本专利技术提出了一种基于orbslam3初始化的三维高斯渲染方法及装置，解决了现有技术中colmap初始化优化耗时较长进而导致三维重建速度慢的技术问题。2、本专利技术的技术方案是这样实现的：
3、一方面，本专利技术提供了一种基于orbslam3初始化的三维高斯渲染方法，包括如下步骤：
4、对相机进行标定，获取相机的内参矩阵和畸变系数，并通过所述内参矩阵和畸变系数对相机获取的图像进行畸变矫正，发布新的节点来获取矫正后的图像，获取图像信息；
5、构建地图，更改配置文件，传入所述内参矩阵和所述畸变系数，提取新的特征点，获取所述地图的3d点云和相机位姿；
6、进行三维高斯渲染，初始化所述地图，获取三维高斯体，通过复制或剪枝，控制所述三维高斯体的密度，利用渲染器对所述地图进行渲染和输出，得到三维重建的结果。
7、在此技术方案的基础上，进一步优选地，所述构建地图，更改配置文件，传入矫正后的所述内参矩阵和所述畸变系数，具体包括以下步骤：
8、修改文件处理部分，保存所述相机位姿和3d点云的txt文件，更改配置文件，传入矫正后的所述内参矩阵和所述畸变系数，加载更新配置文件。
9、在此技术方案的基础上，进一步优选地，加载更新配置文件，还包括以下步骤：
10、通过默认图像的接收节点，传入图像信息，启动脚本，接收传入的所有图像，新建文件夹用于更换图像信息的存储路径。
11、在此技术方案的基础上，进一步优选地，初始化三维高斯地图还包括以下步骤：
12、根据所述相机的配置文件，生成三维高斯系统运行所需要的txt文件，并更换文件的存储路径，更换后的存储路径，包含所有需重建物体相关图像、初始化所需要的所述相机的txt文件和3d点云的txt文件，传入三维高斯系统，对所有文件进行训练。
13、在此技术方案的基础上，进一步优选地，所述对相机进行标定，获取相机的内参矩阵和畸变系数，具体包括以下步骤：
14、连接摄像头，获取摄像头画面，并推送到原始相机的节点，录制原始相机的图像流，并以3d点云数据存储格式保存到对应的原始相机的文件夹；
15、直至出现标定板的图像，不断移动摄像头捕获所述图像，保证所述标定板的整体可以在图像中显示，并保证均匀覆盖到全部像素区域，然后利用工具箱对所述原始相机的文件夹进行标定，获取相机的所述内参矩阵和畸变系数。
16、在此技术方案的基础上，进一步优选地，并通过所述内参矩阵和畸变系数对相机获取的图像进行畸变矫正，发布新的节点来获取矫正后的图像，具体包括以下步骤：
17、通过新的脚本接收所述原始相机的节点的视频流信息，利用所述内参矩阵和畸变系数，对通过所述原始相机获取的图像进行畸变矫正，发布一个新的节点，用来推送矫正为理想针孔相机模型所获取的图像；
18、利用该节点移动摄像头以重建目标为中心，围绕它移动摄像头，以每秒30帧获取图像信息，保证所拍摄图像覆盖重建目标的各个视角，记录并保存获取的视频流。
19、在此技术方案的基础上，进一步优选地，三维高斯渲染，初始化三维高斯地图，获取三维高斯体，通过复制或剪枝，控制所述三维高斯体的密度，具体包括以下步骤：
20、将三维高斯地图初始化，获取三维高斯体，并根据所述文件夹所包含的相机位姿信息，对所述三维高斯体组成的地图进行投影，对三维高斯体进行复制或者剪枝操作，控制三维高斯体密度。
21、在此技术方案的基础上，进一步优选地，利用渲染器对三维高斯地图进行渲染和输出，具体包括以下步骤：
22、通过叠加所述三维高斯体的渲染过程，输出当前状态下所预测的二维图像，根据所述预测的二维图像和真实拍摄的二维图像差距的损失函数，对所述三维高斯体进行反向传播训练，迭代30000次，最后得到三维高斯地图，利用渲染器将得到的所述三维高斯地图进行渲染和输出，得到三维重建结果。
23、在此技术方案的基础上，进一步优选地，所述三维高斯体的渲染过程为α渲染。
24、第二方面，本专利技术还提供一种基于orbslam3初始化的三维高斯渲染装置，包括如下：
25、标定模块，用于实现对相机进行标定，获取相机的内参矩阵和畸变系数，并通过所述内参矩阵和畸变系数对相机获取的图像进行畸变矫正，发布新的节点来获取矫正后的图像，获取图像信息；
26、提取模块，用于构建地图，更改配置文件，传入所述内参矩阵和所述畸变系数，提取新的特征点，获取所述地图的3d点云和相机位姿；
27、渲染模块，进行三维高斯渲染，初始化所述地图，获取三维高斯体，通过复制或剪枝，控制所述三维高斯体的密度，利用渲染器对所述地图进行渲染和输出，得到三维重建的结果。
28、第三方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任意一项所述的三维高斯渲染方法中的步骤。
29、本专利技术所述的一种基于orbslam3初始化的三维高斯渲染方法，相对于现有技术具有以下有益效果：
30、相比现有的基于colmap的三维重建方法，其优化时间随图像序列数量成指数倍增加，系统无法在可接受时间范围内处理大量图像的输入；同时该地图的点云模型由很多三维点云所组成，由于点云数据的稀疏和不规则本文档来自技高网
...
【技术保护点】
1.一种基于orbslam3初始化的三维高斯渲染方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，所述构建地图，更改配置文件，传入矫正后的所述内参矩阵和所述畸变系数，具体包括以下步骤：
3.如权利要求2所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，加载更新配置文件，还包括以下步骤：
4.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，初始化三维高斯地图还包括以下步骤：
5.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，所述对相机进行标定，获取相机的内参矩阵和畸变系数，具体包括以下步骤：
6.如权利要求5所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，并通过所述内参矩阵和畸变系数对相机获取的图像进行畸变矫正，发布新的节点来获取矫正后的图像，具体包括以下步骤：
7.如权利要求5所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，进行三维高斯渲染，初始化所述地图，获取三维高斯体，通过复制或剪枝，控制所述三维高斯体的密度，具体包括以下步骤：
8.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，利用渲染器对三维高斯地图进行渲染和输出，具体包括以下步骤：
9.一种基于orbslam3初始化的三维高斯渲染装置，其特征在于，包括如下：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的三维高斯渲染方法中的步骤。
...
【技术特征摘要】
1.一种基于orbslam3初始化的三维高斯渲染方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，所述构建地图，更改配置文件，传入矫正后的所述内参矩阵和所述畸变系数，具体包括以下步骤：
3.如权利要求2所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，加载更新配置文件，还包括以下步骤：
4.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，初始化三维高斯地图还包括以下步骤：
5.如权利要求1所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于，所述对相机进行标定，获取相机的内参矩阵和畸变系数，具体包括以下步骤：
6.如权利要求5所述的基于orbslam3初始化的三维高斯渲染方法，其特征在于...
【专利技术属性】
技术研发人员：王礼安，安轩，姬宇杰，吴宇轩，马兆远，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。