一种基于卷积神经网络感知动态障碍物速度的方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络感知动态障碍物速度的方法及系统，包括：采集激光雷达的点云数据、车辆在地图坐标系下的位置及姿态、每一帧点云数据的时间戳；排序并转换到地图坐标系；识别出动态障碍物的位置，计算出动态障碍物在每一帧的运动方向及运动速度；以连续多帧点云数据作为输入，将点云数据切割成体素并提取得到体素特征，并投影到BEV平面；将投影到BEV平面的体素特征作为所构建卷积神经网络的输入，经卷积神经网络提取出动态障碍物的携带有运动信息的特征向量；预测获得动态障碍物的运动信息。本发明专利技术可准确检测障碍物并预测动态障碍物的速度，避免了目标匹配错误的问题，可以提高速度预测的精度。可以提高速度预测的精度。可以提高速度预测的精度。

【技术实现步骤摘要】
一种基于卷积神经网络感知动态障碍物速度的方法及系统


[0001]本专利技术涉及一种基于卷积神经网络感知动态障碍物速度的方法及系统，属于自动驾驶的


技术介绍

[0002]车辆在自动驾驶过程中，遇到诸如行人，车辆等动态障碍物时，不仅需要感知动态障碍物此时刻的位置，还需要预测出动态障碍物在车辆周围的运动轨迹，所以感知动态障碍物的速度是保证驾驶安全的关键。
[0003]目前障碍物的感知，主要依靠相机及激光雷达。相机可以提供丰富的色彩，但在障碍物检测任务上不能提供准确的障碍物空间位置。而激光雷达可以提供高精度的障碍物位置信息，非常适合应用在动态障碍物速度预测的任务上。动态障碍物速度的预测，常见技术是基于单帧目标检测和多目标跟踪算法，识别出同一个动态障碍物在不同时刻的位置，从而得到动态障碍物速度。
[0004]基于单帧目标检测及多目标跟踪的算法。这类算法利用相机或激光雷达，使用目标检测算法，检测目标就是动态障碍物，得到动态障碍物在每一帧时刻的位置。每一帧都会有检测到多个目标，于是需要使用多目标跟踪算法，将同一个目标在多帧中的位置进行匹配得到该目标的轨迹，与此同时得到目标的运动方向及速度。多目标跟踪算法的精度高度依赖于检测算法的精度。这类技术缺点在于，一旦在多目标匹配过程中有匹配错的动态障碍物，那么就会计算得到错误的运动速度。或在车辆行驶过程中，远处动态障碍物常常会受到部分遮挡，基于单帧进行目标检测的方法在这种情况下也容易匹配错目标，从而计算出错误的速度。

技术实现思路

[0005]本专利技术所要解决的技术问题在于克服现有技术的不足，提供一种基于卷积神经网络感知动态障碍物速度的方法及系统，使用多帧数据和基于卷积神经网络，检测动态障碍物并预测动态障碍物的运动方向和运动速度，不必使用多目标跟踪算法，因而避免了目标匹配错误的问题，可以提高速度预测的精度。
[0006]本专利技术具体采用以下技术方案解决上述技术问题：一种基于卷积神经网络感知动态障碍物速度的系统，包括：数据采集模块，用于采集激光雷达的点云数据、车辆在地图坐标系下的位置及姿态、每一帧点云数据的时间戳；数据预处理模块，用于将每一帧的点云数据按照时间戳排序，并转换到地图坐标系；数据标注模块，用于识别出动态障碍物的位置，计算出动态障碍物在每一帧的运动方向及运动速度；体素特征提取模块，用于以连续多帧点云数据作为输入，将点云数据切割成体素
并对每一个体素提取得到体素特征；特征投影模块，用于将提取得到的体素特征投影到BEV平面；卷积神经网络模块，用于将投影到BEV平面的体素特征作为所构建卷积神经网络的输入，经卷积神经网络提取出携带有动态障碍物运动信息的特征向量；预测速度模块，用于将卷积神经网络模块提取出的携带有动态障碍物运动信息的特征向量作为输入，预测动态障碍物的位置、尺寸、运动方向、运动速度以作为输出；并根据动态障碍物的标注信息计算loss，更新体素特征提取模块、卷积神经网络模块、预测速度模块的参数。
[0007]进一步地，作为本专利技术的一种优选技术方案：所述数据标注模块采用点云目标检测模型一帧帧检测识别出动态障碍物的位置。
[0008]进一步地，作为本专利技术的一种优选技术方案：所述卷积神经网络模块提取出动态障碍物的运动信息包括动态障碍物中心位置的三维坐标、动态障碍物的长宽高、运动方向和运动速度。
[0009]本专利技术还提出一种基于卷积神经网络感知动态障碍物速度的方法，包括以下步骤：采集激光雷达的点云数据、车辆在地图坐标系下的位置及姿态、每一帧点云数据的时间戳；将每一帧的点云数据按照时间戳排序，并转换到地图坐标系；识别出动态障碍物的位置，计算出动态障碍物在每一帧的运动方向及运动速度；以连续多帧点云数据作为输入，将点云数据切割成体素并对每一个体素提取得到体素特征，并将提取得到的体素特征投影到BEV平面；将投影到BEV平面的体素特征作为所构建卷积神经网络的输入，经卷积神经网络提取出携带有动态障碍物运动信息的特征向量；将提取出的携带有动态障碍物运动信息的特征向量作为输入，预测动态障碍物的位置、尺寸、运动方向、运动速度以作为输出；并根据动态障碍物的标注信息计算loss，更新参数。
[0010]进一步地，作为本专利技术的一种优选技术方案，所述方法中识别出动态障碍物的位置，具体包括：在标注过程中，采用点云目标检测模型一帧帧检测识别出动态障碍物的位置，并识别出各个动态障碍物的轨迹；根据各个动态障碍物的轨迹，计算得到动态障碍物在每一帧的运动方向和运动速度。
[0011]进一步地，作为本专利技术的一种优选技术方案，所述方法中经卷积神经网络提取出动态障碍物的运动信息包括动态障碍物中心位置的三维坐标、动态障碍物的长宽高、运动方向和运动速度。
[0012]本专利技术采用上述技术方案，能产生如下技术效果：本专利技术所提出的方法及系统，需要使用车辆的激光雷达数据，车辆在地图坐标系的位置及姿态信息作为卷积神经网络的输入，卷积神经网络可以输出多种动态障碍物的运动方向及运动速度。本专利技术可准确感知动态障碍物的运动方向及运动速度，检测的范围包含但不限于行人，车辆。本专利技术通过训练卷积神经网络预测动态障碍物的运动速度，卷积神
经网络以相邻多帧点云数据作为输入，车辆行驶过程中，激光雷达采集到不同时刻的点云，根据车辆的位置及姿态，将点云转换到地图坐标系下，这样就有了多帧点云在同一坐标系下的数据。卷积神经网络以动态障碍物的位置，尺寸，运动方向，速度信息作为输出。其中，训练数据中包含障碍物被遮挡的样本，经过训练，可以预测到稳定的物体速度。
[0013]本专利技术不同于基于单帧检测的算法，使用多帧数据，基于卷积神经网络检测动态障碍物并预测动态障碍物的速度。因此，本专利技术不必使用多目标跟踪算法，因而避免了目标匹配错误的问题，可以提高速度预测的精度。
附图说明
[0014]图1为本专利技术方法及系统的原理示意图。
具体实施方式
[0015]下面结合说明书附图对本专利技术的实施方式进行描述。
[0016]如图1所示，本专利技术涉及一种基于卷积神经网络感知动态障碍物速度的系统，该系统具体包括：1）数据采集模块，采集激光雷达的点云数据、车辆在地图坐标系下的位置及姿态、每一帧点云数据的时间戳。
[0017]2）数据预处理模块，将每一帧的点云数据按照时间戳排序，并转换到地图坐标系。具体为:将每一帧的点云数据按照时间戳排序，并转换到地图坐标系。其中，可将连续10帧点云的点作为体素特征提取模块的输入，其中可以但不限于有几帧里面动态障碍物受到部分遮挡，使得训练的点云数据中包含动态障碍物被遮挡的样本。点云数据中每一个点包括5个特征：x,y,z,intensity,timestamp。其中x,y,z表示该点的空间三维坐标, intensity表示该激光点的反射强度, timestamp表示该点的时间戳。这样的输入，包含了多个时刻的点云信息，具有描述不同时刻物体位置的能力。
[0018]3）数据标注模块，识别出动态障碍物的位置，计算出动态障碍物在每一帧的运动方向及运动速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络感知动态障碍物速度的系统，其特征在于，包括：数据采集模块，用于采集激光雷达的点云数据、车辆在地图坐标系下的位置及姿态、每一帧点云数据的时间戳；数据预处理模块，用于将每一帧的点云数据按照时间戳排序，并转换到地图坐标系；数据标注模块，用于识别出动态障碍物的位置，计算出动态障碍物在每一帧的运动方向及运动速度；体素特征提取模块，用于以连续多帧点云数据作为输入，将点云数据切割成体素并对每一个体素提取得到体素特征；特征投影模块，用于将提取得到的体素特征投影到BEV平面；卷积神经网络模块，用于将投影到BEV平面的体素特征作为所构建卷积神经网络的输入，经卷积神经网络提取出携带有动态障碍物运动信息的特征向量；预测速度模块，用于将卷积神经网络模块提取出的携带有动态障碍物运动信息的特征向量作为输入，预测动态障碍物的位置、尺寸、运动方向、运动速度以作为输出；并根据动态障碍物的标注信息计算loss，更新体素特征提取模块、特征投影模块、卷积神经网络模块、预测速度模块的参数。2.根据权利要求1所述基于卷积神经网络感知动态障碍物速度的系统，其特征在于：所述数据标注模块采用点云目标检测模型一帧帧检测识别出动态障碍物的位置。3.根据权利要求1所述基于卷积神经网络感知动态障碍物速度的系统，其特征在于：所述卷积神经网络模块提取出动态障碍物的运动信息包括动态障碍物中心位置的三维坐标、动态障碍物的长宽高、...

【专利技术属性】
技术研发人员：王龙，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：