基于距离视图的三维目标检测方法和装置制造方法及图纸

本发明专利技术提供一种基于距离视图的三维目标检测方法和装置，其方法包括：将激光雷达采集的三维点云数据通过球面坐标系投影到二维距离视图格式，通过现有成熟的二维目标检测网络

【技术实现步骤摘要】
基于距离视图的三维目标检测方法和装置


[0001]本专利技术涉及基于激光雷达的目标检测技术，具体涉及一种通过将点云转换为距离视图进行三维目标检测的方法和装置
。

技术介绍

[0002]三维目标检测是计算机视觉的一个重要分支，在自动驾驶，机器人环境感知，虚拟现实等领域中均有广泛的应用
。
随着激光雷达的不断产业化发展，激光雷达的成本降低，在激光雷达点云数据上进行三维目标检测体现出了巨大的应用潜力，点云提供的由带有精确三维坐标的点组成的点云簇，天然的维度优势使得在三维目标检测中点云数据有着图像数据不可比拟的优势，此外相较于相机对光照条件敏感的缺点，激光雷达在黑暗，雨雾等复杂环境下仍能保持高可靠性
。
但是基于点云的三维目标检测仍存在诸多问题，例如点云庞大的数据量使得神经网络直接处理点云所需要的计算量是难以承受的，点云的稀疏性和非结构化的数据特性也需要精心设计的神经网络模块来处理，增加了算法的复杂性
。
因此，优化点云的数据结构，例如将点云转换为距离视图，可以提高三维目标检测的效率，提高算法在实际场景下的实用性
。
[0003]为了实现上述目的，一些将距离视图进行三维视觉任务的方法被研究，其中，陈建等提出一种将距离视图用于点云编解码的方法
(
陈建；林育芳；郑明魁；等
.
一种基于车载激光雷达的点云编解码方法
[P].
中国专利：
CN114332259A,2022.04.12.)。
刘富春等提出一种基于距离视图的三维语义分割方法
(
刘富春；陈旭健；一种多尺度上下文特征的激光点云语义分割方法及系统
[P].
中国专利：
CN116109836A,2023.05.12.)。
虽然上述研究将距离视图用于三维视觉任务，但在对距离视图的处理中模型只使用了简单的卷积模块或者残差结构，限制了模型的性能
。
但考虑到距离视图与图像数据的相似性，我们认为一些成熟的二维目标检测网络可以很好地适用于距离视图，将成熟的二维检测网络用于距离视图也可以一定程度上打破点云和图像之间的纬度壁垒，有利于后续更好地探索点云数据与图像数据的互补融合
。
此外上述研究都是将距离视图用于三维语义分割任务，我们认为距离视图在三维目标检测任务中较大的应用潜力还有待挖掘
。

技术实现思路

[0004]本专利技术提出一种将二维目标检测神经网络迁移用于距离视图的三维目标检测方法和装置，克服传统三维目标检测神经网络结构复杂，难以在实际场景中应用的痛点，拓展距离视图在三维目标检测任务中的应用
。
[0005]本专利技术的一种基于距离视图的三维目标检测方法，首先对激光雷达采集到三维点云数据的坐标由笛卡尔坐标系投影到球面坐标系，并通过投影得到的倾斜角和俯仰角对点云数据排列成为距离视图；再将标签文件中的三维包围框投影到距离视图上的二维包围框对
YOLOX
进行训练以获得带有二维先验的预训练权重，接着对
YOLOX
稍作修改以达到预测三维目标框的目的，同时加入三维的损失函数进行三维目标检测的训练，从而通过成熟精简
的
YOLOX
网络完成三维目标检测任务
。
具体操作步骤如下：
[0006]一种基于距离视图的三维目标检测方法，包括以下步骤：
[0007]步骤1：对激光雷达采集到三维点云数据由笛卡尔坐标系投影到球面坐标系得到距离视图；
[0008]步骤2：将三维包围框投影到距离视图上二维包围框，训练获得带有二维先验的预训练权重；
[0009]步骤3：对
YOLOX
网络模型进行改进，通过载入预训练权重，在距离视图上进行三维目标框检测
。
[0010]步骤4：改进
YOLOX
的损失函数，加入三维损失函数进行三维目标检测的训练；
[0011]其中，步骤1中使用投影得到的球面坐标系中倾斜角和俯仰角对点云数据排列成为距离视图，具体包括以下步骤：
[0012]步骤
11
：将点云数据中的每个点由其三维空间
x
，
y
，
z
轴上的坐标
(x
，
y
，
z)
构成，换为球坐标系下的坐标原点移位距离，水平极轴极角，垂直极轴极角
[0013]步骤
12
：为了使每个点结构化排列，初始化一个高为
w
，宽为
h
的距离视图矩阵，其中
w
由激光雷达的垂直分辨率决定，
h
由激光雷达的水平分辨率决定
。
从左到右按照方位角从小到大，从上到下按照倾斜角从小到大对点云进行排序填入距离视图矩阵，完成点云到距离视图的转换
。
[0014]其中，步骤2中使用距离视图进行预训练权重训练，具体包括以下步骤：
[0015]步骤
21
：将数据集标签数据中的三维包围框投影到距离视图上得到二维包围框
。
通过标签中描述三维包围框的七维信息
x
，
y
，
z
轴上坐标，长宽高和旋转角度
(x
，
y
，
z
，
w
，
l
，
h
，
ρ
)
生成三维包围框的八个角点在激光雷达坐标系下的三维坐标；
[0016]步骤
22
：通过步骤1中的投影方法，得到三维包围框的八个角点在距离视图上对应的八个二维坐标，分别取距离视图
x
，
y
方向上的最小值与最大值得到
(x
min
，
y
min
)
和
(x
max
，
y
max
)
作为距离视图包围框的左上与右下角点
。
[0017]步骤
23
：将
KITTI
数据集三维点云数据转换为二维距离视图数据集，分别将三维框坐标和类别标注转换为二维
VOC
格式二维坐标框和类别标注
。
[0018]步骤
24
：在距离视图数据集上进行
YOLOX
网络二维目标检测训练，为后续的三维目标检任务提供了合适的预训练权重
。
[0019]其中，步骤3中使用预训练权重进行三维目标检测训练，具体包括以下步骤：
[0020]步骤
31
：载入预训练权重载入到三维目标检测网络中，对网络注入二维先验知识，加速网络收敛，提高网络性能
。
[0021]步骤
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于距离视图的三维目标检测方法，其特征在于，主要包括以下步骤：步骤1：对激光雷达采集到三维点云数据由笛卡尔坐标系投影到球面坐标系得到距离视图；步骤2：将三维包围框投影到距离视图上二维包围框，训练获得带有二维先验的预训练权重；步骤3：对
YOLOX
网络模型进行改进，通过载入预训练权重，在距离视图上进行三维目标框检测；步骤4：改进
YOLOX
的损失函数，加入三维损失函数进行三维目标检测的训练
。2.
根据权利要求1所述的一种基于距离视图的三维目标检测方法，其特征在于：步骤1中使用投影得到的球面坐标系中倾斜角和俯仰角对点云数据排列成为距离视图，具体包括以下步骤：步骤
11
：将点云数据中的每个点由其三维空间
x
，
y
，
z
轴上的坐标
(x
，
y
，
z)
构成，换为球坐标系下的坐标原点移位距离，水平极轴极角，垂直极轴极角步骤
12
：为了使每个点结构化排列，初始化一个高为
w
，宽为
h
的距离视图矩阵，其中
w
由激光雷达的垂直分辨率决定，
h
由激光雷达的水平分辨率决定；从左到右按照方位角从小到大，从上到下按照倾斜角从小到大对点云进行排序填入距离视图矩阵，完成点云到距离视图的转换
。3.
根据权利要求1所述的一种基于距离视图的三维目标检测方法，其特征在于：步骤2中使用距离视图进行预训练权重训练，具体包括以下步骤：步骤
21
：将数据集标签数据中的三维包围框投影到距离视图上得到二维包围框；通过标签中描述三维包围框的七维信息
x
，
y
，
z
轴上坐标，长宽高和旋转角度
(x
，
y
，
z
，
w
，
l
，
h
，
ρ
)
生成三维包围框的八个角点在激光雷达坐标系下的三维坐标；步骤
22
：通过步骤1中的投影方法，得到三维包围框的八个角点在距离视图上对应的八个二维坐标，分别取距离视图
x
，
y
方向上的最小值与最大值得到
(x
min
，
y
min
)

【专利技术属性】
技术研发人员：禹鑫燚，杨鑫，欧林林，周利波，魏岩，杨阳，卢可，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：