当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于神经渲染的驾驶场景物理仿真方法技术

技术编号:45436265 阅读:14 留言:0更新日期:2025-06-04 19:16
本发明专利技术公开了一种基于神经渲染的驾驶场景物理仿真方法。包括以下步骤:首先,获取每个驾驶场景对应的训练数据集,利用运动结构恢复模块提取当前驾驶场景的训练数据集对应的位姿并对混合渲染管道进行训练后,神经辐射场管道输出当前驾驶场景的深度图以及获得训练好的高斯泼溅管道;然后,基于深度图生成交互碰撞网格空间;最后,将目标位姿输入到训练好的高斯泼溅管道中,获得目标位姿处观察到的场景颜色,基于强化学习的智能体结合目标位姿处观察到的场景颜色在交互碰撞网格空间中进行探索反馈。本发明专利技术能够保证实时交互性能的基础上,明显改善当先驾驶仿真软件中纹理细节不真实的问题,减少仿真软件和真实世界的差距。

【技术实现步骤摘要】

本专利技术涉及驾驶场景仿真领域的一种神经渲染方法,具体涉及了一种基于神经渲染的驾驶场景物理仿真方法


技术介绍

1、仿真技术是自动驾驶领域的关键组成部分,能够显著提高系统的迭代效率,降低实车测试的成本压力,并缩短业务落地的时间。

2、尽管如carla、百度apollo和腾讯tad sim等常用仿真器生成的数据为驾驶辅助系统提供了测试环境,但这些传统渲染管道所产生的数据与真实世界场景存在较大差异,特别是在纹理和细节方面,无法完全满足实车测试的需求。使用这些仿真度不高的场景数据进行感知模型的训练或整车仿真,可能导致模型对仿真环境的过拟合,从而在真实场景中的感知性能下降。

3、基于神经辐射场或高斯泼溅方法的技术在多视角合成真实感场景方面取得了一定成果,但其应用主要集中于多视图合成,无法提供驾驶场景级别的感应碰撞和物理仿真,也难以构建供辅助驾驶系统学习驾驶规则的交互探索环境。

4、目前的现有技术之一,alexey等人在论文“carla:an open urban drivingsimulator”中的方法。尽管carla平台利用本文档来自技高网...

【技术保护点】

1.一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述方法还包括以下步骤:

3.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述S1中,驾驶场景渲染网络的运动结构恢复模块用于提取输入图像的位姿,输入图像的位姿和场景三维空间中的位置与方向作为神经辐射场管道的输入,神经辐射场管道输出深度图,高斯泼溅管道输出场景颜色。

4.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述运动结构恢复模块包括依次相连的特征提...

【技术特征摘要】

1.一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述方法还包括以下步骤:

3.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述s1中,驾驶场景渲染网络的运动结构恢复模块用于提取输入图像的位姿,输入图像的位姿和场景三维空间中的位置与方向作为神经辐射场管道的输入,神经辐射场管道输出深度图,高斯泼溅管道输出场景颜色。

4.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述运动结构恢复模块包括依次相连的特征提取模块、特征匹配模块和位姿估计模块。

5.根据权利要求1所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述s2中,利用当前驾驶场景的训练数据集对驾驶场景渲染网络中的混合渲染管道进行训练,具体包括:

6.根据权利要求5所述的一种基于神经渲染的驾驶场景物理仿真方法,其特征在于,所述神经辐射场包括颜色估计模...

【专利技术属性】
技术研发人员:朱建科李卓鹏
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1