一种基于视觉和激光雷达的目标检测和运动状态估计方法技术

本发明专利技术请求保护一种基于视觉和激光雷达的目标检测和运动状态估计方法，包括以下步骤：1.安装相机与激光雷达的位置，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定。并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；2.用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；3.根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。本发明专利技术的关键在于视觉与激光雷达传感器之间的融合，改善智能汽车对周围环境的感知能力。

【技术实现步骤摘要】
一种基于视觉和激光雷达的目标检测和运动状态估计方法
本专利技术属于智能汽车环境感知领域，具体设计到一种基于视觉和激光雷达在山区复杂路况下的车辆行人等目标检测和运动状态估计方法。
技术介绍
随着人工智能、机器视觉等领域在近些年的快速发展，智能车成为了学术界、工业界研究发展的重要领域。对于智能汽车而言，不能够缺失具备实时感知和理解周围环境的能力。只有环境感知技术准确、实时、可靠，才能保证车辆规划出正确的通行路径，进而安全地实现自动行驶，因此环境感知技术是智能汽车实现安全驾驶的基础要求和前提条件。环境感知技术指的是智能汽车依靠自身携带的传感器，描述车辆周围环境状况的技术。它可以携带一种传感器，也可以携带多种传感器进行工作。在当前，国内外研究者一直在对单一传感器的性能进行完善，但是在复杂工作环境下，单一传感器获取的信息有局限性，仅仅依靠单一传感器不能够保证在各种条件下对目标进行正确的识别，会造成错误的环境感知。而多传感器融合技术能够弥补各自传感器的缺陷，结合它们的优点，准确地、快速地感知车辆周围的环境。例如，激光雷达具有探测距离远，检测精度高等优点，但是激光雷达不具备视觉识别的功能；而视觉传感器弥补了激光雷达在识别物体方面的劣势，它可以捕获物体的细节，如亮度，纹理等特征，但是视觉传感器又受天气状况影响，只能在天气良好的情况下检测和识别目标，且探测物体距离有限，精度不高。所以，综上所述基于激光雷达和视觉传感器信息融合的技术能够整合两种传感器的优点，既能达到探测距离远，精度高和可靠性强的优点，同时又能准确识别目标。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种基于视觉和激光雷达的目标检测和运动状态估计方法。本专利技术的技术方案如下：一种基于视觉和激光雷达的目标检测和运动状态估计方法，其包括以下步骤：步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。进一步的，所述步骤1)具体包括以下步骤：步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参fu、fv、uo、vo以及外参R、T。其中fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上都通过标定方法得到；步骤2-3.根据双目标定获得的内参fu、fv、uo、vo以及外参R、T，对获取的图像进行畸变矫正；步骤2-4.用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；步骤2-5.利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；步骤2-6.根据步骤2-5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标，根据左相机与激光雷达的外参系数，以及双目相机之间的外参系数，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；步骤2-7.利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；步骤2-8.重复上述步骤2-2至步骤2-7，完成车左、车右、车后的点云融合，即可以表示为：其中，表示激光雷达获取的点云三维坐标，表示通过立体视觉系统获取的点云三维坐标，(xt,yt,zt)将两融合后得到最终的点云三维坐标。进一步的，所述步骤2-1)实现相机与激光雷达这两种传感器的信息同步，具体包括：在时间上，激光雷达与相机设置相同的采集速率；在空间上，相机和激光雷达都安装在车顶，激光雷达位于中间，相机分别位于车前、车左、车右、车后，其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头，对于车前方2个摄像头与激光雷达的位置关系，左右摄像头的相机坐标系分别表示为OL-XLYLZL，OR-XRYRZR，空间中的点在两个摄像头图像平面上的像素坐标表示为PL(ul,vl)，PR(ur,vr)激光雷达坐标系为OVLP-XVLPYVLPZVLP，空间中任意点在激光坐标系下表示为(xvlp,yvlp,zvlp)。进一步的，所述步骤2-2)标定双目相机，在双目相机前方放置一张棋盘格标定板，且必须要求双目相机有共同视野；同时双目相机捕获棋盘格标定板的图像，利用张正友标定法计算各自相机的内参以及双目相机之间的外参，标定左相机与激光雷达，在左相机与激光雷达前放置一张棋盘格标定板，利用ROS录制左相机、激光雷达、棋盘格数据包，使用Autoware工具箱求出左相机与激光雷达的外参。进一步的，所述步骤2-2具体包括：对于相机标定而言，根据小孔成像原理去建立相机的透视模型，获取相关参数，其中模型参数包括相机内部参数、外部参数，从中得到世界坐标与图像坐标的转换关系为：其中，分别表示相机的内参，fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，R、T分别表示双目相机的旋转矩阵和平移矩阵，以上通过标定方法得到。Zc表示在相机坐标系下的Z轴坐标，(xw,yw,zw)表示在世界坐标系下的空间坐标。对于相机与激光雷达的联合标定而言，它主要是在激光雷达坐标系与相机坐标系之间建立一个齐次变换矩阵，使激光雷达数据与相机图像相对应，转换关系为：M＝RintrinsicL·[RextrinsicLtextrinsicL](4)其中，RintrinsicL表示左相机的内参，Zcl表示相机坐标系下的Z轴坐标，RextrinsicL，textrinsicL表示激光雷达与左相机之间的外参，(xvlp,yvlp,zvlp)表示三维点，其映射到二维图像对应点为(ul,vl)，M表示激光雷达坐标系与相机坐标系之间的齐次变换矩阵；进一步的，所述步骤2)用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点，步骤为：步骤6-1.分别采集图像、点云数据，并对车辆、行人在内的目标进行标注，构成图像数据集和点云数据集，用各自的网络模型进行训练；步骤6-2.在智能车行驶过程中相机与激光雷达实时采集数据，并用深度学习的方法分别对立体视觉系统获取的图像以及激光雷达获取的点云进行检测，获取目标感兴趣区域，采用YOLOv3网络对二维图像进行检测，本文档来自技高网...

【技术保护点】
1.一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，包括以下步骤：/n步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；/n步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；/n步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。/n

【技术特征摘要】
1.一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，包括以下步骤：
步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；
步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；
步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态。


2.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤1)具体包括以下步骤：
步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；
步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参fu、fv、uo、vo以及外参R、T，其中fu、fv分别表示相机横、纵焦距，uo、vo表示光学中心，由标定得到；
步骤2-3.根据双目标定获得的内参fu、fv、uo、vo以及外参R、T，对获取的图像进行畸变矫正；
步骤2-4.用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；
步骤2-5.利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；
步骤2-6.根据步骤2-5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标，根据左相机与激光雷达的外参系数，以及双目相机之间的外参系数，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；
步骤2-7.利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；
步骤2-8.重复上述步骤2-2至步骤2-7，完成车左、车右、车后的点云融合，即可以表示为：



其中，表示激光雷达获取的点云三维坐标，表示通过立体视觉系统获取的点云三维坐标，(xt,yt,zt)将两融合后得到最终的点云三维坐标。


3.根据权利要求2所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-1)实现相机与激光雷达这两种传感器的信息同步，具体包括：在时间上，激光雷达与相机设置相同的采集速率；在空间上，相机和激光雷达都安装在车顶，激光雷达位于中间，相机分别位于车前、车左、车右、车后，其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头，对于车前方2个摄像头与激光雷达的位置关系，左右摄像头的相机坐标系分别表示为OL-XLYLZL，OR-XRYRZR，空间中的点在两个摄像头图像平面上的像素坐标表示为PL(ul,vl)，PR(ur,vr)激光雷达坐标系为OVLP-XVLPYVLPZVLP，空间中任意点在激光坐标系下表示为(xvlp,yvlp,zvlp)。


4.根据权利要求2所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-2)标定双目相机，在双目相机前方放置一张棋盘格标定板，且必须要求双目相机有共同视野；同时双目相机捕获棋盘格标定板的图像，利用张正友标定法计算各自相机的内参以及双目相机之间的外参，标定左相机与激光雷达，在左相机与激光雷达前放置一张棋盘格标定板，利用ROS录制左相机、激光雷达、棋盘格数据包，使用Autoware工具箱求出左相机与激光雷达的外参。
<...

【专利技术属性】
技术研发人员：高小倩，冯明驰，冯辉宗，岑明，王字朋，卜川夏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50