【技术实现步骤摘要】
本专利技术涉及三维重建的，更具体地，涉及用于雷达-相机联合合成的多模态隐式场的几何对齐方法。
技术介绍
1、近期，由于神经辐射场(neural radiance fields，nerf)的出现，合成新视角的研究取得了显著的进展。nerf将3d场景建模为连续函数，并利用可微分渲染，从而成为渲染新视角的事实标准。值得注意的是，最近的nerf方法在自主驾驶等下游任务中展示出了令人印象深刻的性能。在这样的实际场景中，通常同时利用图像和雷达传感器。目前，研究人员将nerf的形式扩展到新的雷达视角合成，将定向的雷达激光束视为一组射线，并以类似于rgb的方式渲染3d点和强度。
2、然而，对于nerf中的多模态学习的探索仍处于初级阶段。有一些初步尝试，例如unisim和nerf-lidar，通过隐式融合的方式将多模态输入纳入其中，即在一个单一场中共享隐式特征，旨在利用不同模态的互补信息来增强nerf的能力。因此，预计多输入模态的整合将提升模型性能，但结果显示，依赖于直接隐式融合的朴素多模态nerf并未超越其单模态模型，多个模态之间经常表现出...
【技术保护点】
1.用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述雷达模态数据包括：利用雷达传感器扫描真实场景得到的若干张雷达图；
3.根据权利要求1或2所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到的雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码的表达式分别如下：
4.根据权利要求1所述的用于雷达-相...
【技术特征摘要】
1.用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述雷达模态数据包括：利用雷达传感器扫描真实场景得到的若干张雷达图；
3.根据权利要求1或2所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，利用多分辨率哈希编码算法，对雷达模态数据和相机模态数据分别进行哈希编码操作，得到的雷达模态数据对应的多分辨率哈希编码和相机模态对应的多分辨率哈希编码的表达式分别如下：
4.根据权利要求1所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，在构建共享几何初始化模型前，将雷达模态数据或相机模态数据输入单模态的神经辐射场的神经网络进行预训练，得到经过预训练的单模态场，利用多分辨率哈希编码算法，对经过预训练的单模态场进行哈希编码操作，得到经过预训练的单模态场的多分辨率哈希编码；
5.根据权利要求4所述的用于雷达-相机联合合成的多模态隐式场的几何对齐方法，其特征在于，所述共享几何初始化模型基于所述经过预训练的单模态场的多分辨率哈希编码构建...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。