基于多尺度特征融合的点云目标检测方法、装置和设备制造方法及图纸

本申请涉及一种基于多尺度特征融合的点云目标检测方法、装置和设备，包括：将原始点云数据对应的伪图像输入主干网络，并对最后一个选定特征提取层输出的特征图进行反卷积得到多组反卷积特征图；将选定特征提取层输出的特征图与对应的反卷积特征图进行级联融合得到多组初始融合特征图并进行划分，得到不包括第一个选定特征提取层对应的初始融合特征图的第一特征图集合以及不包括除去最后一个选定特征提取层对应的初始融合特征图的第二特征图集合，分别将第一和第二特征图集合中的初始融合特征图进行级联融合得到第一和第二融合特征图，将第一和第二融合特征图进行级联融合得到目标特征图进行检测。采用本方法能够提高点云目标检测的准确性。点云目标检测的准确性。点云目标检测的准确性。

【技术实现步骤摘要】
基于多尺度特征融合的点云目标检测方法、装置和设备


[0001]本申请涉及点云目标检测领域，特别是涉及一种基于多尺度特征融合的点云目标检测方法、装置和设备。

技术介绍

[0002]随着激光雷达扫描技术和人工智能技术的不断发展，点云目标检测近年来成为机器人和自动驾驶领域的研究热点，是机器人和自动驾驶环境下障碍物检测的关键技术之一。与图像数据相比，点云数据受光照和天气情况影响小，在三维空间中含有准确的深度信息，可以更好的表征目标的三维空间几何信息。因此，对基于点云数据的目标检测的研究具有重要意义。
[0003]点云目标检测是点云数据处理中最基本的任务之一。当前点云目标检测方法可以分为四大类：基于原始点的云目标检测方法、基于体素的点云目标检测方法、基于数据降维的点云目标检测方法、基于点云和体素混合的点云目标检测方法。基于原始点的点云目标检测方法通过在原始点云数据上进行数据处理、分析，从而判断目标类别并回归目标边界框。该类方法的主要优势在于充分利用了点云数据的所有信息，使得提取的点特征能够有效表征目标的三维空间结构，检测效果好，但内存占用高、计算量大。基于体素的点云目标检测方法通过将不规则的点云在三维空间上划分为大小一样的、规则的体素，通过对体素进行处理、提取体素特征进行目标检测。该类方法的三维空间特征表征能力有限，相对于基于原始点的方法来说计算成本小，但使用的三维卷积和稀疏卷积仍需耗费大量算力。基于数据降维的点云目标检测方法通过将点云转换为二维图像，然后利用现有成熟的图像目标检测算法进行检测。该类方法相对于上述三类方法计算成本小、推理速度快、易于部署，但由于数据降维过程中信息丢失导致检测效果相对较差。基于混合原始点云与体素的点云目标检测方法在一个网络中同时利用点云与体素进行目标检测，保留了点特征和体素特征，综合了基于原始点云和基于体素两种方法的优点。该类方法在充分保留三维空间结构的前提上减少计算成本，但其计算成本仍高于基于数据降维的方法。
[0004]近年来，随着高性能计算设备和深度学习技术的发展，基于深度学习的点云目标检测技术得到广泛研究。PointPillar是一种经典的基于数据降维的点云目标检测算法，由于其良好的实时性和可部署性在学术界和工业界被广泛研究和应用。但是，PointPillar存在三个局限性：第一，检测性能受柱体尺寸影响大，柱体尺寸越大，生成的伪图像分辨率越小，网络运行速度高，但检测效果差；柱体尺寸小，生成的伪图像分辨率越高，网络运行速度低，但检测效果好。第二，伪图像通过特征编码网络生成，生成的伪图像质量直接影响检测结果。第三，主干网络输出的三层特征图均为高层特征，高层特征直接馈入检测头，包含了大量的冗余信息和噪声。因此，PointPillar对于行人和骑行者等小目标的检测效果差。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供基于多尺度特征融合的点云目标检测方
法、装置和设备，以便提高点云目标检测的准确性。
[0006]一种基于多尺度特征融合的点云目标检测方法，包括：
[0007]根据原始点云数据生成伪图像；
[0008]将伪图像输入主干网络后，对主干网络中最后一个选定特征提取层输出的特征图进行多次反卷积，得到对应的多组反卷积特征图；其中反卷积的次数与选定特征提取层的层数相同；
[0009]将主干网络中的选定特征提取层输出的特征图分别与对应的反卷积特征图进行级联融合，得到多组初始融合特征图；
[0010]对多组初始融合特征图进行划分，得到包括除去第一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第一特征图集合，以及包括除去最后一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第二特征图集合；
[0011]将第一特征图集合中的初始融合特征图进行级联融合得到第一融合特征图，将第二特征图集合中的初始融合特征图进行级联融合得到第二融合特征图；
[0012]将第一融合特征图和第二融合特征图进行级联融合，得到目标特征图；
[0013]根据目标特征图进行点云目标检测。
[0014]一种基于多尺度特征融合的点云目标检测装置，包括：
[0015]伪图像生成模块，用于根据原始点云数据生成伪图像；
[0016]反卷积模块，用于将伪图像输入主干网络后，对主干网络中最后一个选定特征提取层输出的特征图进行多次反卷积，得到对应的多组反卷积特征图；其中反卷积的次数与选定特征提取层的层数相同；
[0017]第一融合模块，用于将主干网络中的选定特征提取层输出的特征图分别与对应的反卷积特征图进行级联融合，得到多组初始融合特征图；
[0018]特征图划分模块，用于对多组初始融合特征图进行划分，得到包括除去第一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第一特征图集合，以及包括除去最后一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第二特征图集合；
[0019]第二融合模块，用于将第一特征图集合中的初始融合特征图进行级联融合得到第一融合特征图，将第二特征图集合中的初始融合特征图进行级联融合得到第二融合特征图；
[0020]第三融合模块，用于将第一融合特征图和第二融合特征图进行级联融合，得到目标特征图；
[0021]目标检测模块，用于根据目标特征图进行点云目标检测。
[0022]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0023]根据原始点云数据生成伪图像；
[0024]将伪图像输入主干网络后，对主干网络中最后一个选定特征提取层输出的特征图进行多次反卷积，得到对应的多组反卷积特征图；其中反卷积的次数与选定特征提取层的层数相同；
[0025]将主干网络中的选定特征提取层输出的特征图分别与对应的反卷积特征图进行
级联融合，得到多组初始融合特征图；
[0026]对多组初始融合特征图进行划分，得到包括除去第一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第一特征图集合，以及包括除去最后一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第二特征图集合；
[0027]将第一特征图集合中的初始融合特征图进行级联融合得到第一融合特征图，将第二特征图集合中的初始融合特征图进行级联融合得到第二融合特征图；
[0028]将第一融合特征图和第二融合特征图进行级联融合，得到目标特征图；
[0029]根据目标特征图进行点云目标检测。
[0030]上述基于多尺度特征融合的点云目标检测方法、装置和设备，首先将原始点云数据对应的伪图像输入主干网络，并对最后一个选定特征提取层输出的特征图进行多次反卷积，得到对应的多组反卷积特征图，其中反卷积的次数与选定特征提取层的层数相同；接着将各个选定特征提取层输出的特征图分别与对应的反卷积特征图进行级联融合，得到多组初始融合特征图，可以知道，按照前述对应关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的点云目标检测方法，其特征在于，所述方法包括：根据原始点云数据生成伪图像；将所述伪图像输入主干网络后，对所述主干网络中最后一个选定特征提取层输出的特征图进行多次反卷积，得到对应的多组反卷积特征图；其中反卷积的次数与选定特征提取层的层数相同；将所述主干网络中的选定特征提取层输出的特征图分别与对应的所述反卷积特征图进行级联融合，得到多组初始融合特征图；对所述多组初始融合特征图进行划分，得到包括除去第一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第一特征图集合，以及包括除去最后一个选定特征提取层对应的初始融合特征图的其他多组初始融合特征图的第二特征图集合；将所述第一特征图集合中的初始融合特征图进行级联融合得到第一融合特征图，将所述第二特征图集合中的初始融合特征图进行级联融合得到第二融合特征图；将所述第一融合特征图和所述第二融合特征图进行级联融合，得到目标特征图；根据所述目标特征图进行点云目标检测。2.根据权利要求1所述的方法，其特征在于，将所述主干网络中的选定特征提取层输出的特征图分别与对应的所述反卷积特征图进行级联融合，得到多组初始融合特征图，包括：将所述主干网络中的选定特征提取层输出的特征图分别输入对应的卷积注意力模块，得到对应的多组注意力特征图；将各组注意力特征图分别与对应的所述反卷积特征图进行级联融合，得到多组初始融合特征图。3.根据权利要求2所述的方法，其特征在于，将所述主干网络中的选定特征提取层输出的特征图分别输入对应的卷积注意力模块，得到对应的多组注意力特征图，包括：将所述主干网络中的选定特征提取层输出的特征图进行通道拆分，得到对应的第一通道特征图和第二通道特征图；将所述第一通道特征图馈入平均池化层得到平均池化特征图，将所述平均池化特征图进行1
×
1卷积后输入sigmoid函数，输出所述平均池化特征图的第一权重值，将第一通道特征图与第一权重值相乘得到第一通道初始注意力图，将所述第一通道初始注意力图与第一通道特征图相加得到第一通道注意力图；将所述第二通道特征图馈入最大池化层得到最大池化特征图，将所述最大池化特征图进行1
×
1卷积后输入sigmoid函数，输出所述最大池化特征图的第二权重值，将第二通道特征图与第二权重值α相乘得到第二通道初始注意力图，将所述第二通道初始注意力图与第二通道特征图相加得到第二通道注意力图；将所述第一通道注意力图和第二通道注意力图相加后进行1
×
1卷积，得到对应的多组注意力特征图。4.根据权利要求1所述的方法，其特征在于，将所述第一融合特征图和所述第二融合特征图进行级联融合，得到目标特征图，包括：将所述第一融合特征图输入第一卷积注意力模块，得到第一融合注意力特征图，将所述第二融合特征图输入第二卷积注意力模块，得到第二融合注意力特征图；对所述第一融合注意力特征图和所述第二融合注意力特征图进行上采样后再进行级
联融合得到初始目标特征图；将所述初始目标特征图输入第三卷积注意力模块，得到目标特征图。5.根据权利要求1所述的方法，其特征在于，所述主干网络中的特征提取网络为卷积残差块；通过各个所述卷积残差块进行特征提取的步骤包括：获取当前卷积残差块输入的特征图；将所述特征图依次进行1个1
×
1卷积、1个步长为t的3
×
3卷积和1个1
×
1卷积得到第一分支特征图；将所述特征图经过1个3
×
3卷积得到第二分支特征图；将所述第一分支特征图和所述第二分支特征图进行级联融合后进行1个1
×
1卷积，得到当前卷积残差块输出的特征图。6.根据权利要求5所述的方法，其特征在于，所述选定特征提取层的层数为4；所述主干网络中的选定特征提取层输出特征图的步骤包括：所述伪图像经过2个步长为1的卷积残差块，生成第一选定特征图；所述第一选定特征图依次经过1个步长2的卷积残差块和2个步长为1的卷积残差块，生成第二选定特征图；所述第二选定特征图依次经过1个步长2的卷积残差块和5个步长为1的卷积残差块，生成第三选定特征图；所述第三选定特征图依次经过1个步长2的卷积残差块和5个步长为1的卷积残差块，生成第四选定特征图。7.根据权利要求1至6任一项所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：石志广，张勇，张焱，沈奇，张宇，凌峰，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：