一种时间异步的感知传感器融合方法技术

本发明专利技术公开了一种时间异步的感知传感器融合方法，对双目相机、激光雷达与毫米波雷达进行空间标定与同步，并对各传感器进行主动授时；获取基于双目视觉检测的目标信息及基于卡尔曼滤波跟踪目标；根据在目标时间戳下目标的位置信息及列车的行驶速度建立基于视觉探测的目标运动时空轨迹；获取毫米波雷达对目标的跟踪结果，建立基于毫米波探测的目标运动时空轨迹；预测在激光雷达采集数据时刻下目标的位置信息，辅助激光雷达缩小探测范围并建立候选目标输出队列；对候选目标进行输出。本发明专利技术的方法，促进了双目相机、激光雷达与毫米波雷达进行时间异步数据融合，克服了多传感器时间异步及通信时延引起的偏差，实现了不同传感器间协同工作、优势共享。优势共享。优势共享。

【技术实现步骤摘要】
一种时间异步的感知传感器融合方法


[0001]本专利技术涉及多传感器融合
，具体涉及一种时间异步的感知传感器融合方法。

技术介绍

[0002]随着多传感器融合技术在商业、军事与工业的广泛应用，该技术研究水平也在不断提高。多传感器融合技术可以充分利用各传感器的信息资源，通过各传感器之间采集数据的互补发挥各传感器的优势。在多传感器融合领域中，现有研究的主要方向是多传感器融合的同步问题，多传感器同步融合理论认为各传感器对目标进行同步测量并且将数据同步传输到数据融合中心。但在实际过程中，由于各自传感器的采样频率以及固有的通信延迟不同，都会产生传感器融合过程中的异步问题。显然，对传感器融合的异步问题进行合理解决更符合实际工程的需要。
[0003]目前，针对传感器异步融合的研究已有较多成果。夏楠在《多传感器异步融合算法AUV对接导航系统》中提出了一种多尺度无迹卡尔曼异步融合滤波算法，该算法可以根据采样率划分物体多尺度信息并建立系统误差模型，针对不同尺度的信息进行多传感器数据异步融合。赵海飞在《多传感器异步信息多源组合导航算法实现》中针对多传感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间异步的感知传感器融合方法，其特征是，步骤1.对列车已安装的双目相机、激光雷达与毫米波雷达进行空间标定与同步，并对各传感器进行主动授时；步骤2.获取双目相机基于双目视觉检测的目标信息及基于卡尔曼滤波跟踪目标；步骤3.根据在目标时间戳下的位置信息及列车的行驶速度建立基于视觉探测的目标运动时空轨迹；步骤4.获取毫米波雷达对目标跟踪结果，基于在目标时间戳下的位置信息及列车的行驶速度，建立基于毫米波探测的目标运动时空轨迹；步骤5.预测在激光雷达采集数据时刻下目标的位置信息，辅助激光雷达缩小检测范围并建立候选目标输出队列；步骤6.对候选目标进行输出。2.根据权利要求1所述的一种时间异步的感知传感器融合方法，其特征是，步骤1中，通过提取特征集的方式对双目相机、激光雷达与毫米波雷达在空间位置上进行标定，并且将各自坐标系下采集的数据转换到列车坐标系中。通过对各传感器主动授时的方式，统一双目相机、激光雷达与毫米波雷达的内部时钟。3.根据权利要求1所述的一种时间异步的感知传感器融合方法，其特征是，包括对激光雷达采集的三维点云数据进行运动补偿的步骤。4.根据权利要求3所述的一种时间异步的感知传感器融合方法，其特征是，运动补偿的步骤具体为：根据IMU与激光雷达的时间戳数据，获取某一时刻与激光雷达采集的三维点云数据时间差小于设定值的IMU中的车辆角速度数据与车辆加速度数据；根据IMU数据获取车辆的姿态与运行信息，并且以此为依据计算任意时刻三维点云数据相对于扫描时刻的补偿变换矩阵；利用补偿变换矩阵校正每一个激光点的位置。5.根据权利要求3所述的一种时间异步的感知传感器融合方法，其特征是，步骤2中，基于YOLOv7的目标检测网络对双目相机采集的左彩色图像进行检测，获取视觉目标信息；利用立体匹配算法对双目相机视觉采集的左右图像进行像素匹配，获取视差图，对视差图利用二维平面到三维空间中的投影矩阵获取目标深度信息和目标在三维空间中的位置信息。6.根据权利要求1或5所述的一种时间异步的感知传感器融合方法，其特征是，步骤2中，基于卡尔曼滤波器组将目标跟踪算法与目标检测级联，通过帧间数据关联算法实现多目标跟踪。7...

【专利技术属性】
技术研发人员：王文军，孙兆聪，张军贤，戴国琛，张世泽，夏世平，
申请(专利权)人：中车南京浦镇车辆有限公司，
类型：发明
国别省市：