一种基于融合特征进行点云目标检测的处理方法和装置制造方法及图纸

本发明专利技术实施例涉及一种基于融合特征进行点云目标检测的处理方法和装置，所述方法包括：获取第一点云；对第一点云进行特征提取生成前视特征张量与第一点云进行特征融合生成第一点云张量；对第一点云张量进行点云柱特征提取生成点云柱特征并对点云柱特征进行鸟瞰特征提取生成鸟瞰特征；对鸟瞰特征进行可变形卷积特征提取并对卷积特征与鸟瞰特征进行特征融合；根据鸟瞰融合特征进行目标检测。通过本发明专利技术对点云进行多视角、多尺度的特征提取与融合可以增强点云特征丰富度、提高目标检测准确度。确度。确度。

【技术实现步骤摘要】
一种基于融合特征进行点云目标检测的处理方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种基于融合特征进行点云目标检测的处理方法和装置。

技术介绍

[0002]自动驾驶系统的感知模块在进行目标检测时常使用基于点云的3D目标检测技术进行检测，这是因为点云具有天然的三维空间优势、基于点云的3D目标检测可以准确的预测出目标与自车的相对距离。但点云的稀疏性特点又容易在目标检测过程中发生目标检测框(bounding box，bbox)尺寸预测失准的问题，尤其对距离较远的目标。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于融合特征进行点云目标检测的处理方法、装置、电子设备及计算机可读存储介质；先对原始点云进行前视图特征提取并将提取出的特征与原始点云融合，再对融合了前视图特征的点云进行鸟瞰特征提取从而得到融合了前视特征的鸟瞰特征，再对该鸟瞰特征进行可变形卷积并对卷积结果与该鸟瞰特征进行特征融合，再基于该融合特征进行3D目标检测得到对应的多个3D目标检测框。通过本专利技术对点云进行多视角、多尺度的特征提取与融合处理，可以达到增强点云特征丰富度、提高点云目标检测准确度的目的。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于融合特征进行点云目标检测的处理方法，所述方法包括：
[0005]获取第一点云；
[0006]基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；
[0007]基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
[0008]基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
[0009]基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
[0010]优选的，所述第一点云包括多个第一点；各个所述第一点对应一组三维点云坐标(x,y,z)和一个反射强度ρ；
[0011]所述点云目标检测模型包括所述前视特征提取模块、所述鸟瞰特征提取模块、所述特征融合模块和所述目标检测模块；所述前视特征提取模块与所述鸟瞰特征提取模块连接；所述鸟瞰特征提取模块与所述特征融合模块连接；所述特征融合模块与所述目标检测模块连接；所述前视特征提取模块包括前视空间处理单元、前视特征提取单元和点云特征融合单元；所述前视空间处理单元的输入端为模型输入端，输出端与所述前视特征提取单元的输入端连接；所述前视特征提取单元的输出端与所述点云特征融合单元的第一输入端连接；所述点云特征融合单元的第二输入端为所述模型输入端；所述鸟瞰特征提取模块包括点云柱特征提取单元和鸟瞰特征提取单元；所述点云柱特征提取单元的输入端与所述点云特征融合单元的输出端连接，输出端与所述鸟瞰特征提取单元的输入端连接；所述特征融合模块包括可变形卷积单元和融合处理单元；所述可变形卷积单元的输入端与所述鸟瞰特征提取单元的输出端连接，输出端与所述融合处理单元的第一输入端连接；所述融合处理单元的第二输入端与所述鸟瞰特征提取单元的输出端连接；所述目标检测模块的输入端与所述融合处理单元的输出端连接，输出端为模型输出端；
[0012]所述前视特征提取单元、所述点云柱特征提取单元、所述鸟瞰特征提取单元、所述可变形卷积单元和所述目标检测模块均基于神经网络实现；所述前视特征提取单元和所述鸟瞰特征提取单元对应的神经网络均为由指定残差网络构建的多级特征金字塔网络，所述指定残差网络包括resnet50网络；所述点云柱特征提取单元对应的神经网络为PointPillars模型的点云柱特征网络；所述可变形卷积单元对应的神经网络为可变形卷积网络，所述可变形卷积网络的卷积核大小为3，所述可变形卷积网络的输入、输出张量的高度和宽度不变；所述目标检测模块对应的神经网络为由CenterPoint模型的中心热力图头网络和回归头网络组成的3D目标检测框预测头网络。
[0013]优选的，所述基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量，具体包括：
[0014]由所述前视空间处理单元以自车为坐标原点构建柱状坐标系记为对应的自车柱状坐标系；并将所述自车柱状坐标系的高度范围设为预设的第一高度范围[z
min
,z
max
],z
min
<0<z
max
；并按预设的单位角度
△
θ、单位高度
△
z将所述自车柱状坐标系的柱面前视图的高
×
宽分辨率设为A
×
B，A＝(z
max
‑
z
min
)/Δz，B＝360
°
/Δθ；并根据点云坐标系到所述自车柱状坐标系的柱面前视图像素坐标系的坐标转换关系对所述第一点云中各个所述第一点的所述三维点云坐标(x,y,z)进行柱面前视图像素坐标转换处理得到对应的前视图像素坐标(u,v)，并在所述柱面前视图上将各个所述前视图像素坐标(u,v)对应的像素点记为对应的第一投影点；并在所述柱面前视图上将所述前视图像素坐标(u,v)相同的多个所述第一投影点组成一组对应的第一投影点集合，并在各个所述第一投影点集合中将对应的所述反射强度ρ为最大值的所述第一投影点保留、并将其他剩余的所有所述第一投影点删除；并由所述柱面前视图上各个剩余的所述第一投影点的对应的所述三维点云坐标(x,y,z)和组成一个对应的长度为4的第一投影点向量；并根据所述柱面前视图的分辨率A
×
B初始化一个形状为C0×
H0×
W0的全零张量作为对应的第一前视图张量；并将所述第一前视图张量中与各个剩余的所述第一投
影点对应的第一像素向量设为对应的所述第一投影点向量；C0、H0、W0分别为所述第一张量的特征维度、高度和宽度，C0、H0、W0为大于零的整数，C0＝4，H0＝A，W0＝B，所述第一张量包括H0*W0个所述第一像素向量；
[0015]由所述前视特征提取单元基于多级特征金字塔网络对所述第一前视图张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为C1×
H1×
W1；C1、H1、W1分别为所述第一前视特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合特征进行点云目标检测的处理方法，其特征在于，所述方法包括：获取第一点云；基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。2.根据权利要求1所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述第一点云包括多个第一点；各个所述第一点对应一组三维点云坐标(x,y,z)和一个反射强度ρ；所述点云目标检测模型包括所述前视特征提取模块、所述鸟瞰特征提取模块、所述特征融合模块和所述目标检测模块；所述前视特征提取模块与所述鸟瞰特征提取模块连接；所述鸟瞰特征提取模块与所述特征融合模块连接；所述特征融合模块与所述目标检测模块连接；所述前视特征提取模块包括前视空间处理单元、前视特征提取单元和点云特征融合单元；所述前视空间处理单元的输入端为模型输入端，输出端与所述前视特征提取单元的输入端连接；所述前视特征提取单元的输出端与所述点云特征融合单元的第一输入端连接；所述点云特征融合单元的第二输入端为所述模型输入端；所述鸟瞰特征提取模块包括点云柱特征提取单元和鸟瞰特征提取单元；所述点云柱特征提取单元的输入端与所述点云特征融合单元的输出端连接，输出端与所述鸟瞰特征提取单元的输入端连接；所述特征融合模块包括可变形卷积单元和融合处理单元；所述可变形卷积单元的输入端与所述鸟瞰特征提取单元的输出端连接，输出端与所述融合处理单元的第一输入端连接；所述融合处理单元的第二输入端与所述鸟瞰特征提取单元的输出端连接；所述目标检测模块的输入端与所述融合处理单元的输出端连接，输出端为模型输出端；所述前视特征提取单元、所述点云柱特征提取单元、所述鸟瞰特征提取单元、所述可变形卷积单元和所述目标检测模块均基于神经网络实现；所述前视特征提取单元和所述鸟瞰特征提取单元对应的神经网络均为由指定残差网络构建的多级特征金字塔网络，所述指定残差网络包括resnet50网络；所述点云柱特征提取单元对应的神经网络为PointPillars模型的点云柱特征网络；所述可变形卷积单元对应的神经网络为可变形卷积网络，所述可变形卷积网络的卷积核大小为3，所述可变形卷积网络的输入、输出张量的高度和宽度不变；所述目标检测模块对应的神经网络为由CenterPoint模型的中心热力图头网络和回归头网络组成的3D目标检测框预测头网络。
3.根据权利要求2所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量，具体包括：由所述前视空间处理单元以自车为坐标原点构建柱状坐标系记为对应的自车柱状坐标系；并将所述自车柱状坐标系的高度范围设为预设的第一高度范围[z
min
,z
max
],z
min
<0<z
max
；并按预设的单位角度
△
θ、单位高度
△
z将所述自车柱状坐标系的柱面前视图的高
×
宽分辨率设为A
×
B，A＝(z
max
‑
z
min
)/Δz，B＝360
°
/Δθ；并根据点云坐标系到所述自车柱状坐标系的柱面前视图像素坐标系的坐标转换关系对所述第一点云中各个所述第一点的所述三维点云坐标(x,y,z)进行柱面前视图像素坐标转换处理得到对应的前视图像素坐标(u,v)，并在所述柱面前视图上将各个所述前视图像素坐标(u,v)对应的像素点记为对应的第一投影点；并在所述柱面前视图上将所述前视图像素坐标(u,v)相同的多个所述第一投影点组成一组对应的第一投影点集合，并在各个所述第一投影点集合中将对应的所述反射强度ρ为最大值的所述第一投影点保留、并将其他剩余的所有所述第一投影点删除；并由所述柱面前视图上各个剩余的所述第一投影点的对应的所述三维点云坐标(x,y,z)和组成一个对应的长度为4的第一投影点向量；并根据所述柱面前视图的分辨率A
×
B初始化一个形状为C0×
H0×
W0的全零张量作为对应的第一前视图张量；并将所述第一前视图张量中与各个剩余的所述第一投影点对应的第一像素向量设为对应的所述第一投影点向量；C0、H0、W0分别为所述第一张量的特征维度、高度和宽度，C0、H0、W0为大于零的整数，C0＝4，H0＝A，W0＝B，所述第一张量包括H0*W0个所述第一像素向量；由所述前视特征提取单元基于多级特征金字塔网络对所述第一前视图张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为C1×
H1×
W1；C1、H1、W1分别为所述第一前视特征张量的特征维度、高度和宽度，C1、H1、W1为大于零的整数，C1默认为16，H1＝H0，W1＝W0；所述第一前视特征张量包括H1*W1个长度为C1的第一前视特征向量；所述第一前视特征向量与所述第一像素向量一一对应；由所述点云特征融合单元为所述第一点云的各个所述第一点分配一个对应的长度为4+C1的全零向量作为对应的第一点云向量；并基于各个所述第一点的所述三维点云坐标(x,y,z)和所述反射强度ρ对对应的所述第一...

【专利技术属性】
技术研发人员：张永昌，周建飞，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：