【技术实现步骤摘要】
本专利技术涉及三维重建的，更具体地，涉及用于雷达-相机联合合成的多模态隐式场的几何对齐方法。
技术介绍
1、近期，由于神经辐射场(neural radiance fields，nerf)的出现，合成新视角的研究取得了显著的进展。nerf将3d场景建模为连续函数，并利用可微分渲染，从而成为渲染新视角的事实标准。值得注意的是，最近的nerf方法在自主驾驶等下游任务中展示出了令人印象深刻的性能。在这样的实际场景中，通常同时利用图像和雷达传感器。目前，研究人员将nerf的形式扩展到新的雷达视角合成，将定向的雷达激光束视为一组射线，并以类似于rgb的方式渲染3d点和强度。
2、然而，对于nerf中的多模态学习的探索仍处于初级阶段。有一些初步尝试，例如unisim和nerf-lidar，通过隐式融合的方式将多模态输入纳入其中，即在一个单一场中共享隐式特征，旨在利用不同模态的互补信息来增强nerf的能力。因此，预计多输入模态的整合将提升模型性能，但结果显示，依赖于直接隐式融合的朴素多模态nerf并未超越其单模态模型，多个模态之间经常表现出不对齐的行为，为了优化其中一种模态(如雷达模态)，可能会对另一种模态(如相机性能)产生不利影响，反之亦然，同时改善两种模态是具有挑战性的。
技术实现思路
1、本专利技术为克服上述现有技术存在的不同模态之间存在不对齐现象的缺陷，提供一种能够使多个模态之间的几何对齐的用于雷达-相机联合合成的多模态隐式场的几何对齐方法。
2、为解决上述技术问题
3、获取真实场景的雷达模态数据和相机模态数据；
4、利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码；
5、构建共享几何初始化模型；
6、构建几何感知对齐模型；
7、融合共享几何初始化模型和几何感知对齐模型，得到融合好的模型；
8、基于雷达模态对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码，利用融合好的模型，对雷达模态和相机模态进行几何对齐操作，得到几何对齐的多模态隐式场。
9、本专利技术还提出了用于雷达-相机联合合成的多模态隐式场的几何对齐系统用于实现上述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，所述系统包括：
10、数据获取模块，用于获取真实场景的雷达模态数据和相机模态数据；
11、哈希编码模块，用于利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码；
12、第一模型构建模块，用于构建共享几何初始化模型；
13、第二模型构建模块，用于构建几何感知对齐模型；
14、模型融合模块，用于融合共享几何初始化模型和几何感知对齐模型，得到融合好的模型；
15、几何对齐模块，用于基于雷达模态对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码，利用融合好的模型，对雷达模态和相机模态进行几何对齐操作，得到几何对齐的多模态隐式场。
16、本专利技术还提出了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法的步骤。
17、与现有技术相比，本专利技术技术方案的有益效果是：
18、通过融合共享几何初始化模型和几何感知对齐模型,得到融合好的模型，并基于雷达模态对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码，利用融合好的模型，对雷达模态和相机模态进行几何对齐操作，得到几何对齐的多模态隐式场，克服不同模态之间由于几何不对齐而无法同时优化的缺陷，从而有效利用不同模态的互补信息来提高多模态隐式场进行三维重建或新视角合成的方法的准确性。
本文档来自技高网...【技术保护点】
1.用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述雷达模态数据包括：利用雷达传感器扫描真实场景得到的若干张雷达图；
3.根据权利要求1或2所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到的雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码的表达式分别如下：
4.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，在构建共享几何初始化模型前，将雷达模态数据或相机模态数据输入单模态的神经辐射场的神经网络进行预训练，得到经过预训练的单模态场，利用多分辨率哈希编码算法，对经过预训练的单模态场进行哈希编码操作，得到经过预训练的单模态场的多分辨率哈希编码；
5.根据权利要求4所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述共享几何初始化模型基于所述
6.根据权利要求5所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述几何感知对齐模型基于雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码构建，其中，所述几何感知对齐模型的表达式为：
7.根据权利要求6所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，融合共享几何初始化模型和几何感知对齐模型，得到的融合好的模型的表达式为：
8.根据权利要求1～7任一项所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述方法还包括：将几何对齐的多模态隐式场用于三维重建。
9.用于雷达-相机联合合成的多模态隐式场的几何对齐系统，用于实现权利要求1～8任一项所述用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，包括：
10.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1～8任一项所述用于雷达-相机联合合成的多模态隐式场的几何对齐方法的步骤。
...【技术特征摘要】
1.用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述雷达模态数据包括：利用雷达传感器扫描真实场景得到的若干张雷达图；
3.根据权利要求1或2所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到的雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码的表达式分别如下：
4.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，在构建共享几何初始化模型前，将雷达模态数据或相机模态数据输入单模态的神经辐射场的神经网络进行预训练，得到经过预训练的单模态场，利用多分辨率哈希编码算法，对经过预训练的单模态场进行哈希编码操作，得到经过预训练的单模态场的多分辨率哈希编码；
5.根据权利要求4所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述共享几何初始化模型基于所述经过预训练的单模态场的多分辨率哈希编码构建...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。