自动驾驶3D建模方法、装置及系统制造方法及图纸

本发明专利技术公开一种自动驾驶3D建模方法、装置及系统。本发明专利技术涉及自动驾驶技术领域，解决单一数据采样导致数据建模不完整，或数据间关联性差，无法创建精确的3D环境模型的问题。本发明专利技术通过获取多元传感器采集的数据并进行融合处理，形成综合视图，提取综合视图中不同传感器获取的多个相邻帧中同一个检测目标的帧间目标参数，对比分析不同传感器获取的数据，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现目标参数精准判定，存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内时，确定该帧间目标参数为帧间相互关联的动态数据，以构建3D环境模型。本发明专利技术可提取出更多更准确的相互关联的动态数据，利于创建精确的3D环境模型。

3D modeling method, device and system of autopilot

【技术实现步骤摘要】
自动驾驶3D建模方法、装置及系统
本专利技术涉及自动驾驶
，尤其涉及一种自动驾驶3D建模方法、装置及系统。
技术介绍
在自动驾驶技术中，对自动驾驶车辆行驶环境中所存在的目标的识别是自动驾驶的重要核心技术之一。目前，业内通常通过神经网络的机器学习技术，对大量的实际路面驾驶数据进行采集和分析，提取出各种路面常见的目标的特征量，以进行机器识别的训练。在实际驾驶中，通过训练后的特征量，进行目标的匹配分析，从而识别目标。随着采集的样本数量的增加以及训练周期的增长，特征库的内容越来越丰富，所以也能识别越来越多的实际路面目标。然而，在自动驾驶车辆的实际行驶过程中，复杂的道路环境上充满了“未见过”目标物，而经过大量实地实验，基于神经网络训练的数据仍然可能不含有这类“未见过”目标物的数据，因此依然会存在无法识别目标物的状况。针对这些“未见过”的目标物，如果这些目标物与驾驶层面有关，比如标志标线、红绿灯、隔离栏等，则目前通常只能忽略目标的提示作用，这样会对自动驾驶产生很严重的影响。如果这些“未见过”的目标物为运动物体，如车辆、行人等，则无法预测其轨迹，无法做出正确的判定（如减速等），容易产生事故。由此可见，现有自动驾驶技术中由于无法识别“未见过”的目标物，导致对道路环境进行的数据采样较为单一，会造成数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3D环境模型。
技术实现思路
本专利技术提供一种自动驾驶3D建模方法、装置及系统，以解决目前自动驾驶领域单一数据采样导致数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3D环境模型的问题。第一方面，本专利技术提供一种自动驾驶3D建模方法，所述方法包括：获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；对多元传感器采集的数据进行融合处理，形成综合视图；提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；根据所述帧间相互关联的动态数据构建3D环境模型。结合第一方面，在第一方面的第一种可实现方式中，获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。结合第一方面，在第一方面的第二种可实现方式中，对多元传感器采集的原始数据进行融合处理，形成综合视图包括：在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。结合第一方面的第二种可实现方式，在第一方面的第三种可实现方式中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。第二方面，本专利技术提供一种自动驾驶3D建模装置，所述装置包括：获取单元，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；融合单元，用于对多元传感器采集的数据进行融合处理，形成综合视图；提取单元，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；消除单元，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；判断单元，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；确定单元，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；构建单元，用于根据所述帧间相互关联的动态数据构建3D环境模型。结合第二方面，在第二方面的第一种可实现方式中，所述装置还包括：发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。结合第二方面，在第二方面的第二种可实现方式中，所述融合单元包括：识别子单元，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；对齐子单元，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；投影子单元，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。结合第二方面的第二种可实现方式，在第二方面的第三种可实现方式中，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。第三方面，本专利技术提供一种自动驾驶3D建模系统，所述系统包括：传感器和处理器；所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器、视频传感器，以及毫米波雷达传感器；所述处理器，用于获取自动驾驶车辆上的传感器采集的数据，对多元传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3D环境模型。本专利技术的有益效果如下：<本文档来自技高网...

【技术保护点】
1.一种自动驾驶3D建模方法，其特征在于，所述方法包括：/n获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；/n对多元传感器采集的数据进行融合处理，形成综合视图；/n提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；/n对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；/n判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；/n如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；/n根据所述帧间相互关联的动态数据构建3D环境模型。/n

【技术特征摘要】
1.一种自动驾驶3D建模方法，其特征在于，所述方法包括：
获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
对多元传感器采集的数据进行融合处理，形成综合视图；
提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；
对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；
判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；
如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；
根据所述帧间相互关联的动态数据构建3D环境模型。


2.如权利要求1所述的方法，其特征在于，获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：
同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。


3.如权利要求1所述的方法，其特征在于，对多元传感器采集的原始数据进行融合处理，形成综合视图包括：
在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；
对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；
将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。


4.如权利要求3所述的方法，其特征在于，所述视频传感器所采集的数据为RGB图像的像素阵列，所述激光雷达传感器所采集的数据为3-D点云距离信息，所述毫米波雷达传感器所采集的数据为2-D反射图。


5.一种自动驾驶3D建模装置，其特征在于，所述装置包括：
获取单元，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；
融合单元，用于对多元传感器采集的数据进行融合处理，形成综合视图；
提取单元，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；
消除单元，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器...

【专利技术属性】
技术研发人员：成晟，毛克成，陈刚，
申请(专利权)人：江苏广宇科技产业发展有限公司，南京旭智智通信息科技有限公司，
类型：发明
国别省市：江苏;32