【技术实现步骤摘要】
基于隐式神经渲染的自动驾驶场景数据生成方法及系统
[0001]本申请实施例涉及自动驾驶
，特别涉及一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统。
技术介绍
[0002]当前，自动驾驶是工业界和学术界的关注热点之一。为了适应现实中复杂多变的行驶环境，自动驾驶系统中都包含了大量复杂的算法，而算法的开发和验证需要海量的测试数据。而仅依靠实车采集数据很难满足安全测试的要求，因此，仿真成为了解决测试里程数据不足问题的唯一方案。
[0003]目前常用的仿真器如CARLA，虽然能够提供相对完整的交通流管理和不同传感器的配置方案，但是由于仿真世界和真实世界有明显的差异，并不能很好的生成高度逼真的自动驾驶数据，并且仿真的场景库有限，无法满足自动驾驶多样化场景的数据需求。
技术实现思路
[0004]本申请实施例提供一种基于隐式神经渲染的自动驾驶场景数据生成方法及系统，通过隐式表面重建的方法能够有效解决仿真的多传感器数据不逼真的问题，并且适用于大规模的动态的自动驾驶场景，同时通过基于路网信息的轨迹编辑和生成算...
【技术保护点】
【技术特征摘要】
1.一种基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，包括：基于传感器数据，构建离线高精地图；所述传感器数据包括激光雷达点云数据和位姿数据；基于所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，得到场景重建结果；基于所述离线高精地图、所述目标检测跟踪结果以及路网结构，对车辆的轨迹进行编辑，生成车辆轨迹；基于所述离线高精地图、所述目标检测跟踪结果、所述场景重建结果以及所述车辆轨迹，采用多种不同类型的传感器进行实时仿真渲染，得到多种类型高度逼真的传感器数据。2.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，基于传感器数据，构建离线高精地图，包括：对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过滤，得到处理后的激光雷达点云；基于位姿数据，对所有处理后的激光雷达点云进行拼接，得到全场景雷达点云数据；将所述全场景雷达点云数据转换为俯视图图像，得到道路图像；其中，所述道路图像的像素与点云范围一一对应；所述像素的灰度值通过计算与所述像素对应的点云范围内的点云强度的平均值得到；基于所述道路图像，绘制车道和路网结构。3.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，基于所述离线高精地图，对所述传感器数据进行离线目标检测和跟踪处理，得到目标检测跟踪结果，包括：基于物体检测器，将每五帧点云作为一次检测的输入进行物体检测，得到检测结果；采用原始点特征和体素特征对所述检测结果进行细化处理，得到细化后的检测结果；采用两阶段数据关联方法得到多组跟踪轨迹，并通过位置感知相似度匹配分数将多组跟踪轨迹关联在一起，得到跟踪结果；预测对象的几何形状、位置、置信度属性，对所述细化后的检测结果和所述跟踪结果进行进一步优化，得到目标检测跟踪结果。4.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，所述多视角隐式表面重建的方法的输入是相机图片及相机内外参数据、激光雷达数据和激光雷达外参数据，以及在离线目标检测和跟踪部分得到的动态目标的3D检测数据；采用多视角隐式表面重建的方法对自动驾驶的场景进行重建，所述重建包括背景重建和前景重建；其中，所述前景表示运动的车辆和行人，所述背景表示除去前景的其它部分；在背景重建的过程中，将空间划分为近景、远景和天空三部分，并对近景、远景和天空分别处理，对背景进行重建；在前景重建的过程中，根据不同时刻运动目标的3D检测框数据和前景资产库对前景进行动态重建。5.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在于，采用多车辆决策规划方法对车辆的轨迹进行编辑，生成车辆轨迹；
所述多车辆决策规划方法的输入包括路网拓扑结构、路线信息、车辆状态和对于不受控制车辆的轨迹预测；所述多车辆决策规划方法的输出为原始的自车和他车轨迹以及经过编辑后的他车轨迹；所述多车辆决策规划方法，包括：同时为所有自动驾驶车辆生成粗略的、可解释的离散决策序列，以解决场景车辆间的交互行为；基于所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上...
【专利技术属性】
技术研发人员：闫国行，皮家豪，石博天，窦民，白也淇，邓念晨，郭建非，周鸿斌，杨雪梦，付道成，温力成，蔡品隆，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。