一种激光雷达与图像视频融合的目标检测方法技术

本发明专利技术涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。本发明专利技术解决了单幅图像只能提供二维图像平面的像素信息，导致检测准确率下降和误检率升高的技术问题。

【技术实现步骤摘要】
一种激光雷达与图像视频融合的目标检测方法
本专利技术涉及图像检测
，具体涉及一种激光雷达与图像视频融合的目标检测方法。
技术介绍
在基于图像的目标检测中，传统的做法是对单张图片应用普通深度神经网络结构进行目标兴趣区域的定位和识别分类，该方式检测准确率和误检率都不够理想，尤其是对小目标、被遮挡的目标、模糊图像以及光照过暗和过强图像的检测。比如，文件CN110175576A公开了一种结合激光点云数据的行驶车辆视觉检测方法，首先完成激光雷达与摄像机的联合标定，再进行时间对准；计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；基于候选区域，在各帧图像上提取方向梯度直方图特征；提取三维包围框中的点云数据的特征；基于遗传算法，将得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。但是，由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高。
技术实现思路
本专利技术提供一种激光雷达与图像视频融合的目标检测方法，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。本专利技术提供的基础方案为：一种激光雷达与图像视频融合的目标检测方法，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。本专利技术的工作原理及优点在于：通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，视频数据对动态历史的记录能为算法提供记忆信息，充分利用更多的信息来提升检测准确率，增强了算法对局部帧出现干的鲁棒性。通过这样的方式，当目标暂时被遮挡、运动造成相机的聚焦突然模糊、动态目标由近到远导致在画面中所占区域变小时，由于激光雷达抗光照干扰能力强，能够明显提升目标检测准确率、降低误检率。本专利技术通过融合激光雷达数据以获取场景三维深度信息、融合视频流以获取图像各历史时刻信息，解决了由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、分辨率、方法倍数、相机聚焦与运动的影响较大，会导致检测准确率下降和误检率升高的技术问题。进一步，S4中，算法的具体步骤包括：A1、生成深度矩阵D；A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；A3、将I2输入到目标检测模型；A4、输出结果。有益效果在于：通过这样的方式，将像素矩阵I和深度矩阵D按通道拼接到一起，可以充分利用更多的信息来提升检测准确率。进一步，A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：add加法操作节点，用于进行矩阵点加法；mul乘法操作节点，用于进行矩阵点乘法；concat操作节点，用于进行通道拼接；conv_block卷积模块，用于进行卷积操作、归一化操作和激活函数操作；delay延迟操作节点，用于暂存数据。有益效果在于：通过这样的方式，只需要在模型输出层做修改，就可以将历史信息与视频数据进行融合。进一步，conv_block卷积模块包括conv_block1、conv_block2和conv_block3，conv_block1、conv_block2和conv_block3均为卷积操作节点、归一化操作节点和激活函数操作节点的串联。有益效果在于：通过这样的方式，直接将卷积操作节点、归一化操作节点和激活函数操作节点串联起来即可，便于实现。进一步，去除掉conv_block1。有益效果在于：通过这样的方式，可以简化记忆融合结构M，但不会影响结果。进一步，A2中，像素深度通道为两通道或四通道。有益效果在于：通过这样的方式，便于像素矩阵I和深度矩阵D按通道进行拼接，降低运算量。进一步，两通道具体为灰度值和深度值。有益效果在于：通过这样的方式，简单易行、操作性强。进一步，四通道具体为rgb值和深度值。有益效果在于：通过这样的方式，可尽可能提供多的信息。进一步，目标检测模型为SSD或YOLO模型。有益效果在于：SSD或YOLO模型应用比较成熟，通过这样的方式，便于直接对模型进行改进。进一步，检测结果为目标在图像平面上的位置和区域。有益效果在于：通过这样的方式，检测结果具体为即目标在图像平面上的位置和区域，可视化强，便于观察。附图说明图1为本专利技术一种激光雷达与图像视频融合的目标检测方法实施例的流程图。图2为本专利技术一种激光雷达与图像视频融合的目标检测方法实施例记忆融合结构M的系统结构框图。图3为本专利技术一种激光雷达与图像视频融合的目标检测方法实施例矩阵通道拼接的示意图。图4为本专利技术一种激光雷达与图像视频融合的目标检测方法实施例的网络结构示意图。具体实施方式下面通过具体实施方式进一步详细的说明：实施例1本专利技术一种激光雷达与图像视频融合的目标检测方法实施例基本如附图1所示，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。具体实施过程如下：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区。将360°16线激光雷达和rgb相机靠近安装在一起固定，通过数据接口连接到算法处理器，保证激光雷达和图像传感器需存在共视区。S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步。通过Camera-LiDAR联合标定法标定获得相机内参K和相机到雷达的外参H，得到雷达到相机的坐标变化矩阵T＝K*H。启动激光雷达和相机，同步实时采集每帧数据，从激光读取点云集合P，遍历集合中所有点的三维坐标(x，y本文档来自技高网...

【技术保护点】
1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：/nS1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；/nS2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；/nS3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；/nS4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；/nS5、输出检测结果。/n

【技术特征摘要】
1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；
S5、输出检测结果。


2.如权利要求1所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，S4中，算法的具体步骤包括：
A1、生成深度矩阵D；
A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；
A3、将I2输入到目标检测模型；
A4、输出结果。


3.如权利要求2所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，
A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：
add加法操作节点，用于进行矩阵点加法；
mul乘法操作节点，用于进行矩阵点乘法；
concat操作节点，用于进行通道拼接；
conv_block卷积模块，用于进行卷积操作、归一化...

【专利技术属性】
技术研发人员：晁战云，罗元泰，袁洪跃，冉茂国，黄秀华，万钟平，赖晗，
申请(专利权)人：华通科技有限公司，
类型：发明
国别省市：河北;13