基于点云与图像数据融合的三维目标检测方法技术

本发明专利技术涉及计算机视觉技术领域，为解决现有方法中点云特征与图像特征感受野不一致的问题，本发明专利技术，基于点云与图像数据融合的三维目标检测方法，通过时间同步的激光雷达和摄像头分别采集点云数据和图像数据，并执行以下步骤：步骤一：筛选一定空间范围内的点云数据；步骤二：将初始体素输入三维稀疏卷积网络；步骤三：设定俯视特征图上的预定义边界框；步骤四：使用最远点采样算法从步骤一空间范围内的原始点云中筛选m个关键点；步骤五：输出含有多尺度图像特征图的图像特征金字塔；步骤六：根据点云与图像联合标定得到的坐标变换矩阵；步骤七：得到关键点的融合特征f；步骤八：得到最终预测的目标边界框。本发明专利技术主要应用于三维目标检测场合。检测场合。检测场合。

【技术实现步骤摘要】
基于点云与图像数据融合的三维目标检测方法


[0001]本专利技术涉及计算机视觉
，特别涉及三维目标检测
，尤其涉及一种基于点云与图像数据融合的三维目标检测方法。

技术介绍

[0002]随着自动驾驶技术的发展，三维目标检测技术近些年来受到了广泛关注。三维目标检测输入相机图像、激光雷达点云、毫米波雷达等传感器数据，输出目标在三维空间中的位置。图像包含丰富的语义信息，是二维目标检测中主要使用的数据，但其缺乏关键的深度信息，仅使用图像进行三维目标检测效果不佳。激光雷达点云包含了场景的三维结构信息，是进行三维目标检测的主要数据源。虽然激光雷达点云具有丰富的几何信息，但其缺少颜色、纹理等语义信息，而且在远距离过于稀疏，在某些情况下仅使用点云仍然不能准确地对目标进行检测。因此，许多模型使用点云与图像融合的方法进行检测，用图像语义信息来补充点云。根据构建点云和图像之间空间对应关系的方法，现有的融合检测模型可分为三类：(1)串联方法，其首先在图像上进行二维目标检测，将二维目标边界框反投影至三维空间，并使用该投影区域内包含的点云预测目标的三维边界框。该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云与图像数据融合的三维目标检测方法，其特征是，通过时间同步的激光雷达和摄像头分别采集点云数据和图像数据，并执行以下步骤：步骤一：筛选一定空间范围内的点云数据，并将点云根据其(x,y,z)坐标划分为空间体素，对包含超过T个点的体素，随机筛选其中的T个点，对非空体素，取其包含点云原始特征的均值作为体素的初始特征，得到初始体素；步骤二：将初始体素输入三维稀疏卷积网络，输出体素特征，将其在z轴堆叠并输入二维卷积网络，输出俯视特征图；步骤三：设定俯视特征图上的预定义边界框，将俯视特征图输入分类层与回归层，预测候选区域；步骤四：使用最远点采样算法从步骤一空间范围内的原始点云中筛选m个关键点，并提取关键点的点云特征f
pc
；步骤五：对图像数据，使用基于ResNet的FPN网络提取特征，输出含有多尺度图像特征图的图像特征金字塔；步骤六：根据点云与图像联合标定得到的坐标变换矩阵，将关键点投影到图像平面，通过比例缩放得到关键点在各层图像特征图的投影坐标，使用双线性插值得到关键点对应的多尺度图像特征f
im_k
；步骤七：基于注意力机制，以关键点的点云特征f
pc
作为查询项，加权结合关键点对应的多尺度图像特征，得到关键点最终对应的图像特征f
im
，并将关键点的点云特征与图像特征融合，得到关键点的融合特征f；步骤八：对步骤三得到的候选区域，从所有关键点的融合特征中提取候选区域的整体特征，将候选区域整体特征输入分类层与回归层，进行候选区域细化，得到最终预测的目标边界框。2.如权利要求1所述的基于点云与图像数据融合的三维目标检测方法，其特征是，所述步骤一中筛选一定空间范围内的点云数据，并将点云根据其(x,y,z)坐标划分为空间体素，为筛选激光雷达坐标系下x、y、z轴坐标在[x1,x2]、[y1,y2]、[z1,z2]范围内的点云，并取体素大小为V
x
×
V
y
×
V
z
，将空间划分为D
×
W
×
H个体素，所述点云原始特征为三维坐标(x,y,z)与反射强度r。3.如权利要求2所述的基于点云与图像数据融合的三维目标检测方法，其特征是，所述步骤二中三维稀疏卷积网络包含五个卷积块，其中第一个卷积块只包含一个子流形稀疏卷积层，而后三个卷积块均包含一个普通稀疏卷积层进行下采样，以及两个子流形稀疏卷积层，各卷积块生成体素特征的尺寸分别为初始体素大小的1、1/2、1/4和1/8倍，且特征通道数分别为16、32、64、64，最后一个卷积块包含一个普通稀疏卷积层对z轴维度进行下采样，特征通道数为128，各卷积层后均有一个批归一化层和ReLU激活函数层，最终输出的体素特征，所述二维卷积网络包含两个卷积块，每个卷积块包含六个卷积层，生成特征图的尺寸分别为原始堆叠特征图的1、1/2倍，特征通道数分别为128、256，所述二维卷积网络还包含两个转置卷积层分别将两个卷积块的输出特征图上采样为原始堆叠特征图尺寸，特征通道数均为256，各卷积层后均有一个批归一化层和ReLU激活函数层，最
后将两个上采样特征图拼接，输出的俯视特征图。4.如权利要求2所述的基于点云与图像数据融合的三维目标检测方法，其特征是，所述步骤三中设定俯视特征图上的预定义边界框为，对特征图每个像素的对应位置设定N
×
2个预定义边界框，N为检测类别数，每个类别设定方向为0
°
、90
°
的两个边界框，尺寸为数据集中所有该类别标签的平均尺寸，所述分类层和回归层均为1
×
1卷积层，预测每个预定义边界框的类别及边界框参数(x,y,z,l,w,h,θ)的偏差值，其中(x,y,z)为中心点坐标，(l,w,h)为长宽高，θ为围绕z轴的偏转角。5.如权利要求2所述的基于点云与图像数据融合的三维目标检测方法，其特征是，所述步骤四中提取关键点的点云特征f
pc
...

【专利技术属性】
技术研发人员：唐凯辰，张蕾，
申请(专利权)人：天津大学，
类型：发明
国别省市：