一种激光雷达与图像视频融合的目标检测方法技术

本发明专利技术涉及图像检测技术领域，具体涉及一种激光雷达与图像视频融合的目标检测方法，包括步骤：S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；S5、输出检测结果。本发明专利技术解决了单幅图像只能提供二维图像平面的像素信息，导致检测准确率下降和误检率升高的技术问题。

【技术实现步骤摘要】
一种激光雷达与图像视频融合的目标检测方法
本专利技术涉及图像检测
，具体涉及一种激光雷达与图像视频融合的目标检测方法。
技术介绍
在基于图像的目标检测中，传统的做法是对单张图片应用普通深度神经网络结构进行目标兴趣区域的定位和识别分类，该方式检测准确率和误检率都不够理想，尤其是对小目标、被遮挡的目标、模糊图像以及光照过暗和过强图像的检测。比如，文件CN110175576A公开了一种结合激光点云数据的行驶车辆视觉检测方法，首先完成激光雷达与摄像机的联合标定，再进行时间对准；计算标定后的视频数据中相邻两帧间的光流灰度图，并基于光流灰度图进行运动分割，得到运动区域，即候选区域；基于各帧图像对应的时间对准后的点云数据，在候选区域对应的锥形空间内搜索车辆对应的点云数据，得到运动目标的三维包围框；基于候选区域，在各帧图像上提取方向梯度直方图特征；提取三维包围框中的点云数据的特征；基于遗传算法，将得到的特征进行特征级融合，融合后对运动区域分类，获得最后的行驶车辆检测结果。但是，由于单幅图像只能提供某一时刻二维图像平面的像素信息，其受光照、本文档来自技高网...

【技术保护点】
1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：/nS1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；/nS2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；/nS3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；/nS4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；/nS5、输出检测结果。/n

【技术特征摘要】
1.一种激光雷达与图像视频融合的目标检测方法，其特征在于，包括步骤：
S1、固定图像传感器与激光雷达的相对位置，并确保图像传感器与激光雷达具有共视区；
S2、图像传感器采集图像视频数据，激光雷达采集三维点云数据，两路数据采集保持实时同步；
S3、对图像视频数据和三维点云数据两者进行标定，获取激光点云到像素平面的映射关系矩阵T；
S4、通过数据接口实时顺序获取每帧图像数据和点云数据，运行算法并根据映射关系矩阵T融合两路数据计算得出检测结果；
S5、输出检测结果。


2.如权利要求1所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，S4中，算法的具体步骤包括：
A1、生成深度矩阵D；
A2、将像素矩阵I和深度矩阵D按通道拼接到一起，得到包含像素深度通道的像素矩阵I2；
A3、将I2输入到目标检测模型；
A4、输出结果。


3.如权利要求2所述的一种激光雷达与图像视频融合的目标检测方法，其特征在于，
A3中，还包括对模型输出层做修改，设计记忆融合结构M，记忆融合结构M具体包括：
add加法操作节点，用于进行矩阵点加法；
mul乘法操作节点，用于进行矩阵点乘法；
concat操作节点，用于进行通道拼接；
conv_block卷积模块，用于进行卷积操作、归一化...

【专利技术属性】
技术研发人员：晁战云，罗元泰，袁洪跃，冉茂国，黄秀华，万钟平，赖晗，
申请(专利权)人：华通科技有限公司，
类型：发明
国别省市：河北;13