基于三维场景数据仿真和感知模型的联合训练优化方法技术

本发明专利技术公开了一种基于三维场景数据仿真和感知模型的联合训练优化方法。本发明专利技术打破了现有三维场景数据仿真与感知的训练优化隔阂，将三维场景动态仿真网络与多感知模型的训练进行端到端的联合优化，将感知、仿真等模块结合到一个可以联合训练的统一系统中，提高了计算效率，系统目标统一，更易获得全局最优解。本发明专利技术实现了从数据源头到感知模型的端到端训练，打造数据闭环与模型同步调优的全流程技术框架，在提升感知模型性能的同时能够进一步提高数据仿真的准确性、完整性和逼真程度，且能被用于更多后续的、下游的任务(如决策、控制)，实现仿真‑感知的同步训练、协同优化，打造了仿真数据生成与感知模型训练端到端联合训练优化的新范式。

【技术实现步骤摘要】

本专利技术属于计算机视觉，涉及利用计算机视觉、计算机图形学及深度学习技术实现数据仿真和感知训练的联合优化，尤其涉及一种基于三维场景数据仿真和感知模型的联合训练优化方法，可用于实现通用的、端到端的全流程三维场景数据仿真与感知模型训练的联合优化。

技术介绍

1、自动驾驶的技术路线可以分成四个模块：仿真、感知、决策和控制。自动驾驶汽车首先通过感知系统采集并理解周边环境信息，再根据感知到的情况通过决策系统确定下一步的执行动作(如红灯停)，利用控制系统执行操作任务，仿真系统负责收集采集数据并验证感知模型的安全性和可靠性。其中，感知模块是自动驾驶系统与外界连接的门户，仿真系统是自动驾驶感知、决策、控制模型安全性的验证与测试平台。因此，构建良好的仿真系统与感知系统的交互关系对完善自动驾驶技术具有重要意义。

2、自动驾驶的感知模块可以分成两个部分：收集训练数据和设计算法模型。感知需要捕捉大量的环境数据，这可以通过传感器实现，常见的传感器包括摄像头(camera)、激光雷达(lidar)和毫米波雷达(radar)。利用收集到的数据可以进行不同的算法任务，主要包括本文档来自技高网...

【技术保护点】

1.一种基于三维场景数据仿真和感知模型的联合训练优化方法，用于自动驾驶系统，其包括如下步骤：

2.如权利要求1所述的联合训练优化方法，其特征在于，步骤1)中所述相机数据是车辆行驶过程中各个车载摄像头所拍摄的视频流，所述Lidar数据是车载Lidar装置记录的雷达数据，二者同步采集，并根据摄像头的数量和位置对Lidar数据进行切片，保证视频流和Lidar数据在时序和空间上的一致性。

3.如权利要求1所述的联合训练优化方法，其特征在于，步骤2)中所述三维场景仿真数据集Sim Dataset包括实景图像、3D物理模型和材质、Lidar scan仿真数据、对应的标签真值。...

【技术特征摘要】

1.一种基于三维场景数据仿真和感知模型的联合训练优化方法，用于自动驾驶系统，其包括如下步骤：

2.如权利要求1所述的联合训练优化方法，其特征在于，步骤1)中所述相机数据是车辆行驶过程中各个车载摄像头所拍摄的视频流，所述lidar数据是车载lidar装置记录的雷达数据，二者同步采集，并根据摄像头的数量和位置对lidar数据进行切片，保证视频流和lidar数据在时序和空间上的一致性。

3.如权利要求1所述的联合训练优化方法，其特征在于，步骤2)中所述三维场景仿真数据集sim dataset包括实景图像、3d物理模型和材质、lidar scan仿真数据...

【专利技术属性】
技术研发人员：王勇涛，周啸宇，熊雅娇，
申请(专利权)人：北京大学，
类型：发明
国别省市：