考虑几何信息增强的自动驾驶无边界场景隐式重建方法技术

技术编号:43851000 阅读:25 留言:0更新日期:2024-12-31 18:43
本发明专利技术涉及自动驾驶场景重建领域,公开了一种考虑几何信息增强的自动驾驶无边界场景隐式重建方法及系统,采用一种自动驾驶的几何感知网格基神经渲染系统,该系统利用透视变形哈希网格和有符号距离函数SDF从稀疏传感器数据重建和渲染准确的驾驶环境。系统包括一个哈希池,包含16个级别,每级持有219个2维特征向量,特征向量通过空间插值输入至MLP网络,提取场景特征和SDF,最终,通过对RGB图像、深度和法线的优化,实现高质量的场景重建,在联合优化时,使用RGB输入和单目深度、法线观测作为监督。该系统提高了场景重建质量,能有效处理无边界场景,并在视点稀疏环境中提升性能,在处理实际驾驶环境中的复杂场景时,表现出更高的鲁棒性和准确性。

【技术实现步骤摘要】

本专利技术涉及自动驾驶场景重建领域,尤其涉及一种考虑几何信息增强的自动驾驶无边界场景隐式重建方法及系统。


技术介绍

1、神经辐射场是一种新颖的三维重建技术。在自动驾驶中,三维重建技术成了必不可少的一项关键技术。自动驾驶系统需要精准的环境感知能力,如对路面,静态场景,动态物体的识别和跟踪,以及路径规划和高质量的场景三维建模。利用三维重建技术来辅助自动驾驶实现这些任务,提高自动驾驶的安全性和可靠性。其一,神经辐射场技术可将2d图像重建为3d场景,进而制作高精度地图,实现高精度的车辆定位和地图匹配,促进自动驾驶的下游任务研究与开发;其二,神经辐射场技术可以合成复杂的自动驾驶场景,进而丰富自动驾驶的训练数据,帮助自动驾驶系统进行高效的数据增强;其三,神经辐射场技术可模拟极端天气和严重的交通事故等恶劣场景,以模拟数据还原真实的恶劣场景,提高自动驾驶的安全性。总之,三维重建中的神经辐射场技术在自动驾驶中有着广泛的应用,利用其与自动驾驶场景相结合,有助于推动自动驾驶技术的发展与应用。

2、由于自动驾驶场景视角受限,nerf重建质量将下降,如何在有限视角下合成本文档来自技高网...

【技术保护点】

1.考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤S1中,通过八叉树结构对无边界开放场景进行空间划分生成若干局部小场景进一步包括:

3.根据权利要求1所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤S1中,通过主成分分析PCA方法构建所述透视变形函数,每个所述局部小场景上运用透视变形函数将无穷远处的空间映射到有限距离具体包括:

4.根据权利要求2或3所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,...

【技术特征摘要】

1.考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤s1中,通过八叉树结构对无边界开放场景进行空间划分生成若干局部小场景进一步包括:

3.根据权利要求1所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤s1中,通过主成分分析pca方法构建所述透视变形函数,每个所述局部小场景上运用透视变形函数将无穷远处的空间映射到有限距离具体包括:

4.根据权利要求2或3所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤s1中,使用多分辨率哈希网格存储编码特征进一步包括:

5.根据权利要求1所述的考虑几何信息增强的自动驾驶无边界场景隐式重建方法,其特征在于,在步骤s2中,将所述空间点的特征输入神经隐式渲染网络,输出有符号距离函数sdf场...

【专利技术属性】
技术研发人员:王亚飞汪博文李泽星李若尧信超尹章翼辰
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1