【技术实现步骤摘要】
本专利技术涉及计算机图形领域，尤其涉及一种辐射场模型重建方法、装置、计算机设备及存储介质。
技术介绍
1、辐射场（radiance field）是计算机图形学和计算机视觉领域广泛应用的一种模型。它表示了在三维空间中每个点处，沿各个方向上的辐射强度或亮度。近年来，基于深度学习的方法如神经辐射场（nerf）已经取得了很好的效果。但是，传统方法难以融合视觉相机和激光雷达的观测，在重建、渲染效率方面也颇受限制。
技术实现思路
1、第一方面，本申请提供一种辐射场模型重建方法，包括：
2、生成辐射场的雷达地图和视觉地图，并将所述雷达地图和所述视觉地图进行标定，得到原始地图；
3、根据所述原始地图，初始化三维高斯点云的参数，得到基于三维高斯点云的辐射场模型；
4、对所述三维高斯点云进行渲染，得到渲染后的高斯点云；
5、计算所述渲染后的高斯点云的参数的颜色残差和深度残差，并进行残差融合，得到最终残差；
6、根据所述最终残差，对所述辐射场模型的高斯点云的参数进行迭代更新，然后重新执行所述对所述三维高斯点云进行渲染的步骤，直至迭代次数到达预设次数或所述最终残差低于预设阈值。
7、进一步的，所述高斯点云的参数包括点云的均值、协方差、旋转姿态、不透明度和颜色特征；
8、所述根据所述原始地图中，初始化高斯点云的参数，得到基于三维高斯点云的辐射场模型，包括：
9、根据所述原始地图中的点云坐标，生成相应的高斯点云的均
10、将所述旋转姿态初始化成单位矩阵；
11、根据所述原始地图中点云的点间距离，初始化各个高斯点的协方差；
12、通过原始地图中点云的颜色，初始化所述高斯点云的颜色特征；
13、将在预设区间内初始化所述不透明度初的初始值。
14、进一步的，所述对所述高斯点云进行渲染，得到渲染后的高斯点云，包括：
15、根据视光锥，筛选可见高斯点云，并计算所述可见高斯点云的颜色；
16、将所述可见高斯点云投影到图像坐标系下，确定所述高斯点云在所述图像坐标系下的形态，以及投影深度；
17、根据所述投影深度对每个高斯点云进行光栅化渲染操作。
18、进一步的，所述计算所述渲染后的高斯点云的参数的颜色残差和深度残差，包括：
19、获取所述视觉地图经过曝光和色差校正后的颜色真值，计算所述颜色真值和渲染后的颜色之间差值得到颜色残差；
20、在所述雷达地图的光心出生成虚拟相机，确定所述虚拟相机观测到的点云在所述虚拟相机的相机坐标系的真实深度值，并通过所述虚拟相机渲染所述高斯点云得到渲染深度值，计算所述渲染深度和所述真实深度值的差，得到深度残差。
21、进一步的，所述进行残差融合，得到最终残差，包括：
22、建立可微的非线性模型，将所述颜色残差和所述深度残差进行融合计算，得到最终残差。
23、进一步的，所述根据所述最终残差，对所述辐射场模型的参数进行迭代更新，包括：
24、对所述非线性模型通过链式求导的方式，得到所述高斯点云的参数的梯度值；
25、将所述梯度值作为优化算法的输入，对所述高斯点云的参数进行优化。
26、进一步的，所述生成辐射场的雷达地图和视觉地图，包括：
27、通过视觉相机拍摄得到辐射场的所述视觉地图；
28、通过激光雷达获取辐射场的所述雷达地图。
29、第二方面，本申请还提供一种辐射场模型重建装置，包括：
30、标定模块，用于生成辐射场的雷达地图和视觉地图，并将所述雷达地图和所述视觉地图进行标定，得到原始地图；
31、初始化模块，用于根据所述原始地图，初始化三维高斯点云的参数，得到基于三维高斯点云的辐射场模型；
32、渲染模块，用于对所述三维高斯点云进行渲染，得到渲染后的高斯点云；
33、残差计算模块，用于计算所述渲染后的高斯点云的参数的颜色残差和深度残差，并进行残差融合，得到最终残差；
34、优化模块，用于根据所述最终残差，对所述辐射场模型的高斯点云的参数进行迭代更新，然后重新执行所述对所述三维高斯点云进行渲染的步骤，直至迭代次数到达预设次数或所述最终残差低于预设阈值。
35、第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的辐射场模型重建方法。
36、第四方面，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的辐射场模型重建方法。
37、本专利技术公开了一种辐射场模型重建方法、装置、计算机设备及存储介质，该方法包括：生成辐射场的雷达地图和视觉地图，并将所述雷达地图和所述视觉地图进行对齐以及标定，得到原始地图；根据所述原始地图中，初始化高斯点云的参数，得到基于三维高斯点云的辐射场模型，并对所述高斯点云进行渲染，得到渲染后的高斯点云；计算所述渲染后的高斯点云的参数的颜色残差和深度残差，并进行残差融合，得到最终残差；根据所述最终残差，对所述辐射场模型的高斯点云的参数进行迭代更新，然后重新执行所述对所述高斯点云进行渲染的步骤，直至迭代次数到达预设次数或所述最终残差低于预设阈值。增加了辐射场模型重建效率和效果，且融合视觉相机和激光雷达的观测数据，使得重建后的辐射场模型。
本文档来自技高网...【技术保护点】
1.一种辐射场模型重建方法，其特征在于，包括：
2.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述高斯点云的参数包括点云的均值、协方差、旋转姿态、不透明度和颜色特征；
3.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述对所述三维高斯点云进行渲染，得到渲染后的高斯点云，包括：
4.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述计算所述渲染后的高斯点云的参数的颜色残差和深度残差，包括：
5.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述进行残差融合，得到最终残差，包括：
6.根据权利要求5所述的辐射场模型重建方法，其特征在于，所述根据所述最终残差，对所述辐射场模型的参数进行迭代更新，包括：
7.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述生成辐射场的雷达地图和视觉地图，包括：
8.一种辐射场模型重建装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的辐射场模型重建方法。
...【技术特征摘要】
1.一种辐射场模型重建方法，其特征在于，包括：
2.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述高斯点云的参数包括点云的均值、协方差、旋转姿态、不透明度和颜色特征；
3.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述对所述三维高斯点云进行渲染，得到渲染后的高斯点云，包括：
4.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述计算所述渲染后的高斯点云的参数的颜色残差和深度残差，包括：
5.根据权利要求1所述的辐射场模型重建方法，其特征在于，所述进行残差融合，得到最终残差，包括：
6.根据权利要求5所述的辐...
【专利技术属性】
技术研发人员：李辰宸，
申请(专利权)人：深圳市其域创新科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。