【技术实现步骤摘要】
一种基于激光雷达和相机数据融合的实时目标检测方法
[0001]本专利技术属于计算机视觉和智能信息处理领域，具体涉及一种基于激光雷达和相机数据融合的实时目标检测方法。
技术介绍
[0002]目标检测是智能机器人环境感知系统的重要组成部分之一，在自动驾驶、家用机器人、无人机和AGV等领域均有广泛应用。但由于现实环境复杂且空间广大等问题，大部分目标检测算法的检测效率较低，难以满足实时性和识别准确率的要求。因此，开发具有高精度和高实时性的目标检测算法是现阶段亟需解决的问题。
[0003]目前，目标检测模块的常用传感器包括RGB相机和激光雷达。其中，相机检测速度快，可以捕捉待检测目标的丰富纹理信息，但难以直接测量物体的形状和位置，同时作为一种无源传感器，容易受环境光线强度变化的影响。与RGB相机相比，激光雷达通过激光检测周围环境，可以准确测量物体的距离和形状且对光线变化具有较强的鲁棒性，但即使是高分辨率的激光雷达，其采集的点云数据也较为稀疏。因此，将RGB图像和点云图像进行融合得到语义信息丰富、距离信息准确、且不易受光线变化影...
【技术保护点】
【技术特征摘要】
1.一种基于激光雷达和相机数据融合的实时目标检测方法，其特征在于，包括以下步骤：1)准备待处理的彩色相机图像数据和对应的激光雷达点云数据；2)将步骤1)中原始点云数据通过多传感器联合标定，将点云中每个数据点投影到RGB图像平面上转成深度图像，使得RGB图像和深度图像有相同视场范围；3)构建基于孪生神经网络的目标检测模型，模型由两个分支组成，分别卷积处理RGB图像和深度图像；4)构建基于特征层融合的交叉融合模块，孪生网络模型两并行分支由多个卷积层组成，模型通过多层卷积提取不同尺寸特征图，在并行分支的多个卷积层后添加融合层将非同质数据的特征图通过叠加运算完成多模态数据融合；5)将RGB图像和对应的深度图像输入到神经网络进行训练，并在模型收敛后进行检测，得到最终检测结果。2.根据权利要求1所述的一种基于激光雷达和相机数据融合的实时目标检测方法，其特征在于，步骤2)中通过多传感器联合标定将点云数据转成深度图；首先根据公式1，将点云数据从激光雷达坐标系旋转平移到相机坐标系下；之后根据公式2将转置后的数据从相机坐标系透射投影到图像坐标系下；最后根据公式3将投影后的数据从图像坐标系缩放到像素坐标系下；其中[X
C
,Y
C
,Z
C
]为激光雷达坐标系下的坐标，[X
L
,Y
L
,Z
L
]为相机坐标系下的坐标，R为旋转矩阵，T为平移矩阵；其中，f是相机的焦距，[x,y]是图像坐标系下的坐标；其中，[u,v]是像素坐标系下的坐标，[u0,v0]是像素坐标系的原点。3.根据权利要求1所述的一种基于激光雷达和相机数据融合的实时目标检测方法，其特征在于，步骤3)中的孪生神经网络目标检测模型由两个相同的并行分支构成，其中，分支1用来卷积处理RGB图像，分支2用来卷积处理深度图像，两输入图像尺寸均为(W，H)。4.根据权利要求3所述的一种基于激光雷达和相机数据融合的实时目标检测方法，其
特征在于，每个分支的特征提取网络为Darknet53，包括6个卷积层和5组残差模块，依次为：第1个卷积层，卷积核大小为3
×
3,步长为1，通道数为32，输出尺寸为第2个卷积层，卷积核大小为3
×
3,步长为2，通道数为64，输出尺寸为第1组残差模块，由1个残差模块组成，输出尺寸为第3个卷积层，卷积核大小为3
×
3,步长为2，通道数为128，输出尺寸为第2组残差模块，由2个残差模块组成，输出尺寸为第4个卷积层，卷积核大小为3
×
3,步长为2，通道数为256，输出尺寸为第3组残差模块，由8个残差模块组成，输出尺寸为第5个卷积层，卷积核大小为3
×
3,步长为2，通道数为512，输出尺寸为第4组残差模块，由8个残差模块组成，通道数为512，输出尺寸为第6个卷积层，卷积核大小为3
×
3,步长为2，通道数为1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。