一种用于自动驾驶的动态障碍物检测方法技术

本发明专利技术提供一种用于自动驾驶的动态障碍物检测方法，包括以下步骤：通过车载传感器设备获取车辆运行过程中的环境图像流、点云数据和定位数据；将所述环境图像流分成连续的帧图像，对每一对连续的帧图像依次进行2D特征点的检测和匹配、2D特征点的3D位置的还原和恢复、3D特征点的动静态点的甄别，以及构建动静二值标签；将所有帧图像的动静二值标签作为神经网络的输入，训练神经网络；实时采集车辆运行过程中的环境图像流，以点云数据和定位数据，并输入训练好的神经网络，获取动静二值分割图像，进而实现动态障碍物的检测。与现有技术相比，该方法能够通过对动态目标和静态目标进行分割，进而实现动态障碍物检测，并提高障碍物检测的准确性。检测的准确性。检测的准确性。

【技术实现步骤摘要】
一种用于自动驾驶的动态障碍物检测方法


[0001]本专利技术涉及智能网联汽车领域和机器学习领域，尤其是涉及一种用于自动驾驶的动态障碍物检测方法。

技术介绍

[0002]自动驾驶是一种通过计算机设备控制车辆在道路上实现自动行驶的技术，自动驾驶的实现依赖于人工智能、视觉计算、雷达以及定位组件的协同合作。由于实际道路情况复杂，不仅存在树木和绿化带等的静态障碍物，还存在大量行人和车辆等动态障碍物，因此如何实现动态障碍物识别，进而规划出规避障碍物的行驶路线成为自动驾驶的关键。
[0003]然而，现有技术中对于动态障碍物的检测尚处空白，且绝大部分的处理方法，依赖于标签，但由于标注工作十分繁琐、耗时，并且成本高昂，大大限制障碍物检测领域的发展。
[0004]目前，支持自动驾驶的车辆上通常设置有激光雷达或摄像机。其中，利用激光雷达实现障碍物检测时，激光雷达通过发射激光光束，并根据激光光束在物体表面形成的反射光束构建激光点云，从而根据激光点云识别环境中的障碍物；利用摄像机实现障碍物检测时，摄像机通过采集环境图像，并通过图像识别技术识别环境图像中的障碍物。但受限于激光雷达和摄像机的工作原理，识别时障碍物距离检测的误差较大，影响障碍物检测的准确度。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于自动驾驶的动态障碍物检测方法，该方法能够通过对动态目标和静态目标进行分割，进而实现动态障碍物检测，并提高障碍物检测的准确性。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]本专利技术提供一种用于自动驾驶的动态障碍物检测方法，包括以下步骤：
[0008]S1：通过车载传感器设备获取车辆运行过程中的环境图像流，以及环境图像流对应的点云数据和定位数据；
[0009]S2：将所述环境图像流分成连续的帧图像，并根据点云数据和定位数据，对每一对连续的帧图像依次进行2D特征点的检测和匹配、2D特征点的3D位置的还原和恢复、3D特征点的动静态点的甄别，以及为每一帧图像构建动静二值标签；
[0010]S3：将所有连续的帧图像所构建的动静二值标签作为神经网络的输入，并结合交叉熵损失函数训练神经网络；
[0011]S4：实时采集车辆运行过程中的环境图像流，以及环境图像流对应的点云数据和定位数据，并输入训练好的神经网络，获取动静二值分割图像，进而实现动态障碍物的检测。
[0012]优选地，所述车载传感器包括用于采集环境图像流的相机、用于采集点云数据的激光雷达和用于采集定位数据的RTK定位设备。
[0013]优选地，所述S2包括以下步骤：
[0014]S2.1：对每一对连续的帧图像进行2D特征点的检测与匹配，并获取2D特征匹配点集；
[0015]S2.2：根据点云数据，对所述2D特征匹配点集中的每一对匹配点的每一特征点进行3D位置的还原和恢复，进而获取3D特征匹配点集；
[0016]S2.3：根据所述3D特征匹配点集和定位数据，建立运动约束条件方程，并根据残差值的大小对3D特征点集中的每一个3D特征点进行动静态点的甄别；
[0017]S2.4：根据动静态点的甄别结果，构建动静二值标签。
[0018]优选地，所述S2.2中对每一特征点进行3D位置的还原和恢复，包括以下步骤：
[0019]S2.2.1：根据点云数据，将激光雷达3D点投影到帧图像上；
[0020]S2.2.2：以每一特征点为中心，在帧图像上划定一个感兴趣区域，并收集投影到感兴趣区域内的激光雷达3D点；
[0021]S2.2.3：判断感兴趣区域内的激光雷达3D点的数量是否小于指定阈值，若小于，则直接抛弃该区域，否则进行S2.2.4；
[0022]S2.2.4：根据感兴趣区域内的激光雷达3D点并采用最小二乘法拟合平面，根据平面残差的均值评估该平面的质量，并保留质量好的平面进行S2.2.5；
[0023]S2.2.5：根据射线与局部平面相交方程恢复点的3D位置。
[0024]优选地，所述S2.2中，若一对匹配点中的任意一个特征点的3D位置恢复失败，则不保留这对匹配点。
[0025]优选地，所述将激光雷达3D点投影到帧图像上的公式为：
[0026][0027]式中：为激光到相机的外参矩阵，为相机的外参旋转矩阵，为相机的外参平移矩阵，K为相机内参矩阵，P
j
∈pcl
0/1
，pcl0和pcl1均为点云数据，p
i
为激光雷达3D点投影至环境图像上的2D齐次坐标，d为激光雷达3D点在相机坐标系下的Z坐标。
[0028]优选地，投影到感兴趣区域内的激光雷达3D点的集合为：
[0029][0030][0031]式中，和分别为特征点的横、纵坐标，p
x
和p
y
分别为点p的横、纵坐标，点p为感兴趣区域内的点，w
x
和w
y
分别为ROI区域的横向尺寸和纵向尺寸，Ω
roi
为感兴趣区域内所有点的集合，Ω
pcl
为投影至感兴趣区域内所有激光点的集合。
[0032]优选地，拟合的平面方程具体为：
[0033][0034]式中，为相机的外参旋转矩阵，为相机的外参平移矩阵，n为法向量，P为激光雷达3D点的三维坐标矩阵。
[0035]优选地，所述运动约束条件方程具体为：
[0036][0037][0038]式中，和分别为第k帧和第k+1帧图像的第j对配点，Ω
3D
为3D特征匹配点集，Res
j
为残差，若Res
j
小于阈值，则认为是静态特征点，否则认为是动态特征点。
[0039]优选地，所述S2.4包括以下步骤：
[0040]S2.4.1：遍历所有的动态特征点，并对其感兴趣区域中的像素点进行投票；
[0041]S2.4.2：遍历所有的静态特征点，并对其感兴趣区域中的像素点的票数置0；
[0042]S2.4.3：统计每一帧图像中每一像素点的总票数，并判断总票数的大小是否大于设定阈值，若是，则认为该像素点为动态点，否则认为该像素点为静态点；
[0043]S2.4.4：将每一像素点的总票数进行二值化，构建动静二值化标签。
[0044]与现有技术相比，本专利技术具有以下优点：
[0045]1、本专利技术通过采用最小二乘法进行平面拟合，并使用2D点的射线与该平面求交点完成估计，准确的对检测及匹配的2D特征点进行3D位置的恢复，为准确甄别动静态点奠定基础。
[0046]2、本专利技术通过对恢复的3D特征点进行动态点和静态点的甄别，并构建二值标签进行神经网络训练，不依赖于标注数据，能够更高效地对动静物体进行分割，进而实现动态障碍物检测。
附图说明
[0047]图1为本实施例一种用于自动驾驶的动态障碍物检测方法的流程示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶的动态障碍物检测方法，其特征在于，包括以下步骤：S1：通过车载传感器设备获取车辆运行过程中的环境图像流，以及环境图像流对应的点云数据和定位数据；S2：将所述环境图像流分成连续的帧图像，并根据点云数据和定位数据，对每一对连续的帧图像依次进行2D特征点的检测和匹配、2D特征点的3D位置的还原和恢复、3D特征点的动静态点的甄别，以及为每一帧图像构建动静二值标签；S3：将所有连续的帧图像所构建的动静二值标签作为神经网络的输入，并结合交叉熵损失函数训练神经网络；S4：实时采集车辆运行过程中的环境图像流，以及环境图像流对应的点云数据和定位数据，并输入训练好的神经网络，获取动静二值分割图像，进而实现动态障碍物的检测。2.根据权利要求1所述的一种用于自动驾驶的动态障碍物检测方法，其特征在于，所述车载传感器包括用于采集环境图像流的相机、用于采集点云数据的激光雷达和用于采集定位数据的RTK定位设备。3.根据权利要求2所述的一种用于自动驾驶的动态障碍物检测方法，其特征在于，所述S2包括以下步骤：S2.1：对每一对连续的帧图像进行2D特征点的检测与匹配，并获取2D特征匹配点集；S2.2：根据点云数据，对所述2D特征匹配点集中的每一对匹配点的每一特征点进行3D位置的还原和恢复，进而获取3D特征匹配点集；S2.3：根据所述3D特征匹配点集和定位数据，建立运动约束条件方程，并根据残差值的大小对3D特征点集中的每一个3D特征点进行动静态点的甄别；S2.4：根据动静态点的甄别结果，构建动静二值标签。4.根据权利要求3所述的一种用于自动驾驶的动态障碍物检测方法，其特征在于，所述S2.2中对每一特征点进行3D位置的还原和恢复，包括以下步骤：S2.2.1：根据点云数据，将激光雷达3D点投影到帧图像上；S2.2.2：以每一特征点为中心，在帧图像上划定一个感兴趣区域，并收集投影到感兴趣区域内的激光雷达3D点；S2.2.3：判断感兴趣区域内的激光雷达3D点的数量是否小于指定阈值，若小于，则直接抛弃该区域，否则进行S2.2.4；S2.2.4：根据感兴趣区域内的激光雷达3D点并采用最小二乘法拟合平面，根据平面残差的均值评估该平面的质量，并保留质量好的平面进行S2.2.5；S2.2.5：根据射线与局部平面相交方程恢复点的3D位置。5.根据权利要求4所述的一种用于自动驾驶的动态障碍物检测方法，其特征在于，所述S2.2中，若一对匹配点中的任意一个特...

【专利技术属性】
技术研发人员：田炜，文永琨，邓振文，黄禹尧，谭大艺，韩帅，
申请(专利权)人：同济大学，
类型：发明
国别省市：