视锥与几何约束相结合的多模态三维目标检测方法及系统技术方案

本发明专利技术提供了一种视锥与几何约束相结合的多模态三维目标检测方法及系统，包括：在图像上生成二维感知结果得到待检测目标的二维边界框；将激光雷达点云投影至图像平面上提取投影至二维边界框内的点云；对视锥内点云进行地面检测，并结合地面与视锥下边界交界处的位置对视锥内点云进行初步过滤，对过滤后的点云进行聚类得到各个候选点云簇，并对点云簇进行合并，设定点云簇的评分标准对每个点云簇进行打分，挑选分数最高的点云簇作为一阶段的结果；对一阶段的结果点云进行体素化，并与已经提炼好的模板核进行模板匹配的卷积计算，得到匹配响应图，挑选出响应图中的峰值位置，根据坐标关系反推其对应的三维坐标位置与朝向，得到三维目标的检测结果；利用三维投影结果与二维检测结果一致性对三维目标的检测结果中的高度以及横向进行修正，得到最终的三维目标检测结果。测结果。测结果。

【技术实现步骤摘要】
视锥与几何约束相结合的多模态三维目标检测方法及系统


[0001]本专利技术涉及三维目标检测
，具体地，涉及视锥与几何约束相结合的多模态三维目标检测方法及系统，涉及视锥与几何规则，能够应用于自动驾驶系统的感知模块中。

技术介绍

[0002]自动驾驶技术是目前的一个热点研究方向，该技术能够应用于无人运输、无人环卫、辅助驾驶等等场景，能够有效地解放劳动力。感知模块是自动驾驶技术中重要的一环，它能够帮助自动驾驶系统获取当前的环境信息，以助于车辆规避障碍与规划路径。三维目标检测是感知中的一项重要任务，用于得到场景中的障碍物位置、大小以及朝向，因此，如何融合传感器捕获的激光雷达点云数据与图像数据，并设计一个高效、准确、鲁棒且易部署的三维目标检测器是一大挑战。
[0003]经过对现有技术文献的查找发现，目前效果好的三维目标检测模型均是基于深度学习的方法，将激光雷达点云与图像数据送入已经构造好的深度网络模型中，并根据标注好的三维标签值实现端到端的训练。这种方法能够在数据集上得到较高的效果，但由于其中绝大部分模型均涉及到稀疏卷积(Sparse Convolution)算子，而该算子目前并不能够很好地部署到车载芯片上。少部分方法如PointPillars直接将点云压缩至俯视图下，之后使用二维的骨干网络回归目标的三维位置，但该类方法不能够很好地结合图像的信息。部分工作如F
‑
PointNets、F
‑
convnet、Frustum
‑
PointPillars等先利用二维目标检测器与几何投影构造出视锥，再使用深度网络模块对视锥内的点云进行三维目标检测，这类方法能够有效地结合成熟的二维目标检测器，且没有复杂的模块，较容易部署；但该类方法的两个阶段(二维检测和三维检测)都需要使用深度网络训练，需要大量的数据来拟合，导致这类方法的泛化能力较差，且依赖于训练数据的数量与质量。本专利技术在基于视锥的方法上做出改动，在三维检测的步骤中结合几何约束实现最终的检测，该方法不依赖于大量训练数据，且易于部署，有较好的泛化性和实时性。
[0004]专利文献CN110909623B(申请号：201911052349.9)公开了一种三维目标检测方法及三维目标检测器。所述三维目标检测方法主要包括以下步骤：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；将语义预测投影到点云空间中，并筛选特定类别的点形成视锥；构建三维目标检测网络，并将视锥作为三维目标检测网络的输入；通过损失函数强化三维目标检测网络对目标的敏感程度；优化三维目标检测网络。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种视锥与几何约束相结合的多模态三维目标检测方法及系统。
[0006]根据本专利技术提供的一种视锥与几何约束相结合的多模态三维目标检测方法，包括：
[0007]步骤S1：使用二维目标检测器在相机图像上生成二维的感知结果，得到图像中待检测目标的二维边界框；根据传感器之间的外参以及相机内参，将激光雷达点云投影至图像平面上，提取投影至二维边界框内的点云，得到相应的视锥内点云；
[0008]步骤S2：对视锥内点云进行地面检测，并结合地面与视锥下边界交界处的位置对视锥内点云进行初步过滤，对过滤后的点云使用DBSCAN聚类得到各个候选点云簇，并设定距离阈值对点云簇进行合并，设定点云簇的评分标准，对每个点云簇进行打分，最终挑选分数最高的点云簇作为一阶段的结果；
[0009]步骤S3：对一阶段的结果点云进行体素化，并与已经提炼好的模板核进行模板匹配的卷积计算，得到匹配响应图，挑选出响应图中的峰值位置，根据坐标关系反推出其对应的三维坐标位置与朝向，得到三维目标的检测结果；
[0010]步骤S4：利用三维投影结果与二维检测结果一致性对三维目标的检测结果中的高度以及横向进行修正，得到最终的三维目标检测结果。
[0011]具体地，所述步骤S1采用：
[0012]步骤S1.1：使用二维目标检测器对相机图像进行检测得到待检测目标的二维检测结果(u1，v1，u2，v2，cls，conf)，其中，(u1，v1，u2，v2)表示图像中二维检测框的左边界坐标u1、上边界坐标v1、右边界坐标u2与下边界坐标v2，cls表示目标的类别属性；conf表示检测框的置信度；
[0013]步骤S1.2：利用相机与激光雷达之间的外参，将激光雷达点云转换至相机坐标系下，再根据相机的内参，将相机坐标系下的点云数据投影至图像平面上，取深度为正且投影位于二维检测框内的点集，将当前点集对应至原激光雷达点云中，形成一个视锥内点云。
[0014]具体地，所述步骤S2采用：
[0015]步骤S2.1：对所有视锥内点云进行高度值从小到大的排序，选取前N
LPR
个点的平均高度作为地面的初始高度H
init
，设定距离阈值Δh1，将所有高度满足z＜H
init
+Δh1的点视为地面点，根据当前地面点使用最小二乘法拟合出地面的平面方程；根据地面方程计算视锥下边界与视锥的交界位置，根据交界位置的坐标(x
inter
，y
inter
)及距离阈值d
inter
筛除视锥点云中与交界位置相距较远，满足的点，同时滤除属于地面的点；
[0016]步骤S2.2：使用DBSCAN聚类对点云进行聚类，得到若干簇候选点云集合set1，set2，...，set
n
，对第i个点云集合set
i
与第j个点云集合set
j
，计算两个点集之间的最远距离，若当前最远距离小于距离合并阈值d
merge
，则将当前两个点集进行合并；将所有候选点集进行点集合并后，得到新的点云集合set1，set2，...，set
m
；
[0017]步骤S2.3：每个候选点集根据预设评分规则进行打分，选取得分最高的点集作为一阶段候选点；
[0018]所述预设评分规则包括：包含的点数越多分值越高、包含的地面背景点数越多分值越低、或离地面与视锥下边界交点距离越近分值越高。
[0019]优选地，所述步骤S3采用：
[0020]步骤S3.1：从自动驾驶数据集的训练集中根据三维标签值得到各个类别真值点云，并计算各个类别三维大小的平均值(l
m
，w
m
，h
m
)，将每个类别的点云真值的中心坐标规范至(0，0，0)、三维大小规范至平均值、朝向角规范至0
°
并将点集进行拼接，得到一个初步的
模板点集；沿x轴对各个模板点集进行翻转增强，使各个类别的模板满足对称性，再使用VoxelGrid filter对模板进行下采样，得到滤波后的模板；设定K
θ
个角度区间数，将
‑
180
°
至180
°
区间等间隔划分为K<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视锥与几何约束相结合的多模态三维目标检测方法，其特征在于，包括：步骤S1：使用二维目标检测器在相机图像上生成二维的感知结果，得到图像中待检测目标的二维边界框；根据传感器之间的外参以及相机内参，将激光雷达点云投影至图像平面上，提取投影至二维边界框内的点云,得到相应的视锥内点云；步骤S2：对视锥内点云进行地面检测，并结合地面与视锥下边界交界处的位置对视锥内点云进行初步过滤，对过滤后的点云使用DBSCAN聚类得到各个候选点云簇，并设定距离阈值对点云簇进行合并，设定点云簇的评分标准，对每个点云簇进行打分，最终挑选分数最高的点云簇作为一阶段的结果；步骤S3：对一阶段的结果点云进行体素化，并与已经提炼好的模板核进行模板匹配的卷积计算，得到匹配响应图，挑选出响应图中的峰值位置，根据坐标关系反推出其对应的三维坐标位置与朝向，得到三维目标的检测结果；步骤S4：利用三维投影结果与二维检测结果一致性对三维目标的检测结果中的高度以及横向进行修正，得到最终的三维目标检测结果。2.根据权利要求1所述的视锥与几何约束相结合的多模态三维目标检测方法，其特征在于，所述步骤S1采用：步骤S1.1：使用二维目标检测器对相机图像进行检测得到待检测目标的二维检测结果(u1,v1,u2,v2,cls,conf)，其中，(u1,v1,u2,v2)表示图像中二维检测框的左边界坐标u1、上边界坐标v1、右边界坐标u2与下边界坐标v2，cls表示目标的类别属性；conf表示检测框的置信度；步骤S1.2：利用相机与激光雷达之间的外参，将激光雷达点云转换至相机坐标系下，再根据相机的内参，将相机坐标系下的点云数据投影至图像平面上，取深度为正且投影位于二维检测框内的点集，将当前点集对应至原激光雷达点云中，形成一个视锥内点云。3.根据权利要求1所述的视锥与几何约束相结合的多模态三维目标检测方法，其特征在于，所述步骤S2采用：步骤S2.1：对所有视锥内点云进行高度值从小到大的排序，选取前N
LPR
个点的平均高度作为地面的初始高度H
init
，设定距离阈值Δh1，将所有高度满足z&lt;H
init
+Δh1的点视为地面点，根据当前地面点使用最小二乘法拟合出地面的平面方程；根据地面方程计算视锥下边界与视锥的交界位置，根据交界位置的坐标(x
inter
,y
inter
)及距离阈值d
inter
筛除视锥点云中与交界位置相距较远，满足的点，同时滤除属于地面的点；步骤S2.2：使用DBSCAN聚类对点云进行聚类，得到若干簇候选点云集合set1,set2,...,set
n
，对第i个点云集合set
i
与第j个点云集合set
j
，计算两个点集之间的最远距离，若当前最远距离小于距离合并阈值d
merge
，则将当前两个点集进行合并；将所有候选点集进行点集合并后，得到新的点云集合set1,set2,...,set
m
；步骤S2.3：每个候选点集根据预设评分规则进行打分，选取得分最高的点集作为一阶段候选点；所述预设评分规则包括：包含的点数越多分值越高、包含的地面背景点数越多分值越低、或离地面与视锥下边界交点距离越近分值越高。
4.根据权利要求1所述的视锥与几何约束相结合的多模态三维目标检测方法，其特征在于，所述步骤S3采用：步骤S3.1：从自动驾驶数据集的训练集中根据三维标签值得到各个类别真值点云，并计算各个类别三维大小的平均值(l
m
,w
m
,h
m
)，将每个类别的点云真值的中心坐标规范至(0,0,0)、三维大小规范至平均值、朝向角规范至0
°
并将点集进行拼接，得到一个初步的模板点集；沿x轴对各个模板点集进行翻转增强，使各个类别的模板满足对称性，再使用VoxelGrid filter对模板进行下采样，得到滤波后的模板；设定K
θ
个角度区间数，将
‑
180
°
至180
°
区间等间隔划分为K
θ
个角度值，之后根据角度值对模板进行旋转，得到带有朝向信息的K
θ
个模板，以体素大小(x
grid
,y
grid
,z
grid
)将当前模板进行体素化，得到每个类别的模板核，其维度大小为[K
θ
,L
m
,W
m
,H
m
]；步骤S3.2：以体素大小(x
grid
,y
grid
，z
grid
)对候选一阶段点云进行体素化，得到大小[L
p
,W
p
，H
p
]的三维张量；步骤S3.3：将模板核作用于输入的体素张量上，设置卷积步长为1，边缘填充方式为补零，得到一个大小为[K
θ
,L
p
,W
p
,H
p
]的匹配响应图，响应值高的位置代表当前位置的待匹配点云分布与模板的分布相似度大；步骤S3.4：获取响应图中的峰值位置得到当前峰值位置所对应的角度值θ
dt
，以及三维坐标位置(x
dt
,y
dt
,z
dt
)，输出为三维目标的检测结果(x
dt
,y
dt
,z
dt
,l
m
,w
m
,h
m
,θ
dt
)。5.根据权利要求1所述的视锥与几何约束相结合的多模态三维目标检测方法，其特征在于，所述步骤S4采用：步骤S4.1：三维目标的检测结果(x
dt
,y
dt
,z
dt
,l
m
,w
m
,h
m
,θ
dt
)通过相机外参转换至相机坐标系下得到相机坐标系下的检测结果(x
cam
,y
cam
,z
cam
,l
cam
,w
cam
,h
cam
,θ
cam
)，根据三维检测框的定义计算得到相机坐标系下三维检测框的8个角点坐标：坐标：坐标：坐标：坐标：坐标：坐标：坐标：再根据相机内参焦距及偏移量参数f
u
,f
v
,c
u
,c
v
，得到8个角点在图像平面上的投影坐标，分别为：
将这些坐标标记为(m
i
,n
i
)，i的取值范围为1～8；步骤S4.2：输入投影后的像素坐标(m
i
,n
i
),i＝1,...,8与二维检测结果(u1,v1,u2,v2)，构造高度方向上的误差函数：其中，将8个角点的式子代入上式中，其中需要优化的变量为y
cam
，使用梯度下降法对其进行优化得到修正后的高度值步骤S4.3：输入投影后的像素坐标(m
i
,n
i
),i＝1,...,8与二维检测结果(u1,v1,u2,v2)，构造横向方向上的误差函数：其中，将8个角点的式子代入上式中，其中需要优化的变量为x
cam
，使用梯度下降法对其进行优化得到修正后的横向值并输出最终的三维目标检测结果。6.一种视锥与几何约束相结合的多模态三维目标检测系统，其特征在于，包括：模块M1：使用二维目标检测器在相机图像上生成二维的感知结果，得到图像中待检测目标的二维边界框；根据传感器之间的外参...

【专利技术属性】
技术研发人员：倪益阳，赵旭，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：