一种融合相机与激光雷达的动态目标感知系统及方法技术方案

本发明专利技术提供了一种融合相机与激光雷达的动态目标感知系统及方法，属于动态数据测量技术领域。它解决了现有动态目标感知系统功能单一及精度低等技术问题。本动态目标感知系统包括单目相机、激光雷达和控制器，单目相机能够将拍摄的图像传递给控制器，所述控制器能够使用二维目标检测算法获取动态目标的二维外包矩形，并根据投影关系得到三维空间中的感兴趣区域，随后在3D ROI内进行点云聚类并拟合三维外包矩形；所述控制器还包括决策规划模块、帧间匹配模块、跟踪器管理模块以及卷积神经网络。本发明专利技术中的系统和方法能够精准可靠的实现三维动态目标的精准检测、跟踪并根据历史轨迹预测目标的运动趋势从而辅助机动车的自动驾驶功能。驶功能。驶功能。

【技术实现步骤摘要】
Networks,CNN)提取的外观特征对两帧目标进行帧间匹配，再使用方案提出的四元有限状态机模型对匹配结果进行管理。在轨迹预测部分，创新地提出了一种基于车道线约束的轨迹预测模型，在道路坐标系中对车辆运动进行建模。
[0009]本系统能够获取动态目标精确的运动信息，保证精准有效的识别效果，使用DeepSORT算法进行多目标跟踪，使用一种四元状态机模型来对跟踪器进行管理，提高跟踪算法的鲁棒性。
[0010]一种融合相机与激光雷达的动态目标感知和预测方法，其利用上述的动态目标感知系统进行三维动态目标的检测、跟踪与预测，其包括以下步骤：
[0011]a、目标检测：先对激光雷达和相机进行配准，建立激光雷达与相机的空间位置关系；使用YOLOv4(You Only Look Once)目标检测算法在图像上得到2D外包矩形；之后根据点云与图像的投影关系，生成2D外包矩形所对应的3D锥形感兴趣区域；最后对3D ROI内的点云进行聚类并拟合3D外包矩形；
[0012]b、目标跟踪：基于DeepSORT算法对目标进行帧间匹配；使用有限状态机对跟踪结果进行管理；
[0013]c、轨迹预测：利用车道线对车辆的运动进行约束，并使用扩展卡尔曼滤波(Extend Kalman Fi lter,EKF)进行轨迹预测。
[0014]使用有限状态机对跟踪结果进行管理是为了减少检测器漏检和误检的影响。
[0015]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤a中，建立激光雷达与相机的空间位置关系，即雷达坐标系与图像像素坐标系之间的关系时，采用的数学模型为：
[0016][0017]其中，为像素坐标，为像素坐标，为雷达坐标；K为相机内参矩阵；和分别为雷达坐标系到相机坐标系的旋转矩阵和平移矩阵；λ为归一化系数。
[0018]统一的时空基准是多传感器融合的必要条件，本技术方案中采用上述数学模型建模，建立雷达坐标系与图像像素坐标系之间的关系，精准可靠。
[0019]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤a中，还包括对点云进行预处理；其依次包括以下步骤：
[0020]降采样：首先使用体素滤波算法对点云进行降采样；
[0021]去噪：随后用统计滤波对点云去噪；
[0022]无关点过滤：无关点过滤模块负责过滤不感兴趣的点云。
[0023]采用降采样、去噪、无关点过滤三个步骤对点云进行预处理，提高算法的效率与效果。本专利技术主要对图像框幅以外的点和地面点进行了过滤。图像框幅以外的点根据上述数学模型计算公式(1)来判断。本专利技术假设地面是平面，使用RANSAC算法进行平面拟合。由于在城市道路中，激光点云中大部分的点云都由地面反射生成，因此使用RANSAC算法进行平面拟合时，最终的内点就是地面点。
[0024]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤a中，融合图像的3D ROI生成过程为：根据小孔成像原理，空间中的一个锥体投影到图像后会形成一个矩形；图像上的任一矩形都对应着空间中的一个锥形区域；使用基于卷积神经网络
(Convolutional Neural Network,CNN)的目标检测算法YOLOv4在图像上检测出目标的二维外包矩形；然后根据上述数学模型计算公式(1)计算出每个二维外包矩形对应的三维锥形区域；每个三维锥形区域中有且仅有一个目标。
[0025]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤a中，点云聚类与三维外包矩形拟合过程为：得到3DROI后，使用欧式聚类(Euclidean Cluster)方法在每个三维锥形区域中对点云进行聚类；聚类成功后，每个三维矩形区域会得到若干个点云簇C＝{C
i
|i＝1，2，...，n}，对每个点云簇C
i
，将其点云投影到图像上，计算点云簇中每个点离2D外包矩形中心的距离，记最小距离为d(C
i
)，选择最小距离最小的点云簇作为目标点云簇C
o
,即
[0026]C
O
＝argmin{d(C
i
)}，i＝1，2，，..，n#(2)
[0027]随后对目标点云簇C
o
进行3D外包矩形拟合；在竖直方向，直接使用C
o
中z方向的最大最小值(z
min
，z
max
)作为目标在竖直方向的边界；在水平方向，3D矩形退化为2D矩形，2D外包矩形优化公式为：
[0028][0029]其中，(x
i
，y
i
)为点坐标，θ、a1、a2为两条相互垂直的直线的参数，根据点到边界的距离将点云簇分为L1和L2两部分。本专利技术使用搜索式算法L
‑
Shape求解这一优化问题。
[0030]在竖直方向，由于在城市道路中道路较为平坦，并且在大部分的应用中激光雷达的XOY平面往往与地面平行，因此可以直接使用C
o
中z方向的最大最小值(z
min
，z
max
)作为目标在竖直方向的边界。
[0031]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤b中，所述的基于DeepSORT算法对目标进行帧间匹配为：DeepSORT算法使用CNN提取目标的外观特征向量，用特征向量的余弦距离描述目标间的相似性，随后使用匈牙利算法进行帧间匹配。
[0032]在上述的融合相机与激光雷达的动态目标感知和预测方法中，在步骤b中，所述的使用有限状态机对跟踪结果进行管理为：有限状态机由三部分组成：状态(State)、事件(Event)与动作(Action)；每一个跟踪器存在四种状态：跟踪态(Tracking)、消失态(Vanished)、初始态(Initializing)和缓冲态(Buffer)；当跟踪器处于跟踪态时，表示跟踪结果是稳定可靠的；消失态表明目标已经离开视场，处于消失态的跟踪器将从内存中删除，不再参与运算；初始态和缓冲态介于跟踪态与消失态之间，用来对抗误检与漏检的影响；初始态是跟踪器的初始状态；
[0033]由于检测器可能存在误检，当第t
‑
1帧的目标未能与第t
‑
1帧的目标匹配时，该目标可能是新进入视场的目标，也可能是误检的错误目标；为此，跟踪器在初始化时会先进入初始态，只有当跟踪器连续N
init
帧都匹配成功的情况下，跟踪器才会从初始态转变为跟踪态；否则，跟踪器将进入消失态，不再参与计算。
[0034]由于检测器可能存在漏检，当第t
‑
1帧的目标未能与第t帧的目标匹配时，该目标可能是因为离开视场而匹配失败，也可能是因为检测器漏检而匹配失败；为此，当跟踪器处于跟踪态时，若在某一帧匹配失败，则从跟踪态转变为缓冲态；若在接下来的N
buffer
帧中，有一帧匹配成功，则变回跟踪态；否则，则进入消失态。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合相机与激光雷达的动态目标感知系统，包括单目相机、激光雷达和控制器，所述单目相机、激光雷达和控制器电连接，其特征在于，所述单目相机能够将拍摄的图像传递给控制器，所述控制器能够使用二维目标检测算法获取动态目标的二维外包矩形，并根据投影关系得到三维空间中的感兴趣区域(Region of Interest，ROI)，随后在3D ROI内进行点云聚类并拟合三维外包矩形；所述控制器还包括决策规划模块、帧间匹配模块、跟踪器管理模块以及卷积神经网络(Convolutional Neural Networks，CNN)。2.一种融合相机与激光雷达的动态目标感知和预测方法，其利用权利要求1所述的动态目标感知系统进行三维动态目标的检测、跟踪与预测，其包括以下步骤：a、目标检测：先对激光雷达和相机进行配准，建立激光雷达与相机的空间位置关系；使用YOLOv4(You Only Look Once)目标检测算法在图像上得到2D外包矩形；之后根据点云与图像的投影关系，生成2D外包矩形所对应的3D锥形感兴趣区域；最后对3D ROI内的点云进行聚类并拟合3D外包矩形；b、目标跟踪：基于DeepSORT算法对目标进行帧间匹配；使用有限状态机对跟踪结果进行管理；c、轨迹预测：利用车道线对车辆的运动进行约束，并使用扩展卡尔曼滤波(Extend Kalman Filter，EKF)进行轨迹预测。3.根据权利要求2所述的融合相机与激光雷达的动态目标感知和预测方法，其特征在于，在步骤a中，建立激光雷达与相机的空间位置关系，即雷达坐标系与图像像素坐标系之间的关系时，采用的数学模型为：其中，为像素坐标，为像素坐标，为雷达坐标；K为相机内参矩阵；和分别为雷达坐标系到相机坐标系的旋转矩阵和平移矩阵；λ为归一化系数。4.根据权利要求2或3所述的融合相机与激光雷达的动态目标感知和预测方法，其特征在于，在步骤a中，还包括对点云进行预处理；其依次包括以下步骤：降采样：首先使用体素滤波算法对点云进行降采样；去噪：随后用统计滤波对点云去噪；无关点过滤：无关点过滤模块负责过滤不感兴趣的点云。5.根据权利要求3所述的融合相机与激光雷达的动态目标感知和预测方法，其特征在于，在步骤a中，融合图像的3D ROI生成过程为：根据小孔成像原理，空间中的一个锥体投影到图像后会形成一个矩形；图像上的任一矩形都对应着空间中的一个锥形区域；使用基于卷积神经网络(Convolutional Neural Network，CNN)的目标检测算法YOLOv4在图像上检测出目标的二维外包矩形；然后根据上述数学模型计算公式(1)计算出每个二维外包矩形对应的三维锥形区域；每个三维锥形区域中有且仅有一个目标。6.根据权利要求3或5所述的融合相机与激光雷达的动态目标感知和预测方法，其特征在于，在步骤a中，点云聚类与三维外包矩形拟合过程为：得到3D ROI后，使用欧式聚类(Euclidean Cluster)方法在每个三维锥形区域中对点云进行聚类；聚类成功后，每个三维矩形区域会得到若干个点云簇C＝{C
i
|i＝1，2，...，n}，对每个点云簇C
i
，将其点云投影到图像上，计算点云簇中每个点离2D外包矩形中心的距离，记最小距离为d(C
i
)，选择最小距离
最小的点云簇作为目标点云簇C
o
，即C
o
＝argmin{d(C
i
)}...

【专利技术属性】
技术研发人员：李必军，周剑，王鹏，张文，黄远宪，
申请(专利权)人：武汉市众向科技有限公司，
类型：发明
国别省市：