一种基于结果特征融合的多模态目标检测方法技术

一种基于结果特征融合的多模态目标检测方法，它属于目标检测技术领域。本发明专利技术解决了现有多模态检测方法的目标检测精度低的问题。本发明专利技术MMDR模型采用了直接通过单模态检测结果生成特征的方法，可以更好地利用深层特征，从而降低了后续特征提取的复杂性，使模型更加聚焦于有效信息。相比于传统的特征级融合方法，MMDR模型避免了在多模态融合过程中产生的信息丢失和冗余问题，能够更好地提取多模态数据的信息。而且MMDR模型融合了单模态检测过程的中间特征，可以一定程度上吸收背景信息，由于采用了基于一阶检测结果生成特征的方法，MMDR模型可以更好地综合利用多模态数据的信息，提高了模型对背景干扰的鲁棒性。本发明专利技术方法可以应用于多模态目标检测。法可以应用于多模态目标检测。法可以应用于多模态目标检测。

【技术实现步骤摘要】
一种基于结果特征融合的多模态目标检测方法


[0001]本专利技术属于目标检测
，具体涉及一种基于结果特征融合的多模态目标检测方法。

技术介绍

[0002]智能无人系统融合了控制、感知、规划、建图、人工智能等技术。作为未来的重点发展领域，机器人及智能无人系统关键技术的发展受到了各个领域越来越多的重视。近年来，尽管机器人及智能无人系统的发展取得了众多成果，但是距离其在复杂动态环境下的广泛应用仍有一定距离。其中，较为重要的一项技术是对于环境中车辆和行人的检测感知能力。
[0003]多模态检测有两种主要方法：决策级融合和特征级融合。不同融合方式的区别在于特征融合的位置不同，以及后续对于融合后特征的处理力度不同。决策级融合方法一般是指直接利用主干网络提取的深层特征进行融合，并基于此预测检测框的位置。决策级融合的优点在于深层特征往往可以更清晰的表达某一模态的关键性信息，这使得模型整体更容易求取损失并计算梯度，进而使得模型可以更快收敛。但是决策级融合方法容易受到背景信息的干扰，对背景信息干扰的鲁棒性差，因此，传统决策级融合方法的检测精度也较低。特征级融合是一种常见的多模态融合方法，它可以通过对不同模态提取的浅层特征进行融合，获得更加丰富和全面的特征信息，并进一步提取深层次的语义信息。通常情况下，特征级融合会使用一个更为通用和具有更强特征提取能力的骨干网络，对融合后的特征进行进一步处理和学习，以获取更加复杂和抽象的语义信息。特征级融合方法的优点在于可以有效地利用不同模态的全部信息，并可以学习跨模态之间的关联关系，然而，由于特征级融合方法需要融合多个模态的特征，导致模型参数较多，因此训练起来比较困难，并且容易陷入局部最优解，同时，传统的特征级融合方法，在多模态融合过程中容易产生信息丢失和冗余，导致检测精度较低。

技术实现思路

[0004]本专利技术的目的是为解决由于传统特征级融合方法在融合过程中易出现信息丢失和冗余，传统决策级融合方法对背景信息干扰的鲁棒性差，导致现有多模态检测方法的目标检测精度低的问题，而提出的一种基于结果特征融合的多模态目标检测方法。
[0005]本专利技术为解决上述技术问题所采取的技术方案是：
[0006]一种基于结果特征融合的多模态目标检测方法，所述方法具体包括以下步骤：
[0007]采集同一场景下的图像数据和点云数据；
[0008]构建MMDR多模态模型，所述MMDR多模态模型包括第一单模态检测器、第二单模态检测器、图像整体特征提取模块、点云整体特征提取模块、图像结果特征处理模块、点云结果特征处理模块、第一特征融合模块、第二特征融合模块、图像后处理特征网络以及点云后处理特征网络；
[0009]所述第一单模态检测器内包括YOLOX模型的特征提取部分和YOLOX模型的检测头；
[0010]所述图像整体特征提取模块内包括图像多尺度特征提取部分和图像多尺度特征处理部分；
[0011]将采集的图像数据作为第一单模态检测器的输入，采集的图像数据依次经过YOLOX模型的特征提取部分和YOLOX模型的检测头后，获得图像结果特征；
[0012]所述图像结果特征输入图像结果特征处理模块，获得处理后的图像结果特征；
[0013]再将YOLOX模型的特征提取部分的输出依次经过图像整体特征提取模块的多尺度特征提取部分和图像多尺度特征处理部分，通过图像多尺度特征处理部分输出图像整体特征；
[0014]所述第二单模态检测器内包括Pointpillar模型的特征提取部分和Pointpillar模型的检测头；
[0015]所述点云整体特征提取模块内包括点云多尺度特征提取部分和点云多尺度特征处理部分；
[0016]将采集的点云数据作为第二单模态检测器的输入，采集的点云数据依次经过Pointpillar模型的特征提取部分和Pointpillar模型的检测头后，获得点云结果特征；
[0017]所述点云结果特征输入点云结果特征处理模块，获得处理后的点云结果特征；
[0018]再将Pointpillar模型的特征提取部分的输出依次经过点云整体特征提取模块的点云多尺度特征提取部分和点云多尺度特征处理部分，通过点云多尺度特征处理部分输出点云整体特征；
[0019]将处理后的图像结果特征、处理后的点云结果特征和图像整体特征输入第一特征融合模块进行特征融合，将特征融合结果作为图像后处理特征网络模块的输入，通过图像后处理特征网络模块输出对图像的二维目标检测结果；
[0020]将处理后的图像结果特征、处理后的点云结果特征和点云整体特征输入第二特征融合模块进行特征融合，将特征融合结果作为点云后处理特征网络模块的输入，通过点云后处理特征网络模块输出对点云的三维目标检测结果。
[0021]进一步地，所述图像整体特征提取模块中的图像多尺度特征提取部分和点云整体特征提取模块中的点云多尺度特征提取部分均为特征金字塔。
[0022]进一步地，所述图像多尺度特征处理部分和点云多尺度特征处理部分的网络结构相同。
[0023]进一步地，所述图像多尺度特征处理部分中包括并行的三个通道，且每个通道内的处理方式相同；
[0024]将图像整体特征提取模块的图像多尺度特征提取部分提取的图像多尺度特征分别作为每个通道的输入；
[0025]图像多尺度特征在通道内依次经过反卷积层和大小为1
×
1的卷积层后，将三个通道的输出进行拼接，再将拼接结果作为图像整体特征。
[0026]进一步地，所述点云多尺度特征处理部分中包括并行的三个通道，且每个通道内的处理方式相同；
[0027]将点云整体特征提取模块的点云多尺度特征提取部分提取的点云多尺度特征分别作为每个通道的输入；
[0028]点云多尺度特征在通道内依次经过反卷积层和大小为1
×
1的卷积层后，将三个通
道的输出进行拼接，再将拼接结果作为点云整体特征。
[0029]进一步地，所述图像结果特征处理模块的工作过程为：
[0030]图像结果特征是由若干条检测结果(x1,y1,x2,y2,s,cls)构成的集合Ω，对于第i条检测结果(x
1,i
,y
1,i
,x
2,i
,y
2,i
,s
i
,cls
i
)，其中，(x
1,i
,y
1,i
,x
2,i
,y
2,i
)为第i条检测结果中检测框归一化后的位置，s
i
为第i条检测结果的置信度，cls
i
为第i条检测结果的类别，cls
i
的取值范围为[0,1,2]；
[0031]初始化一个160*160*3的矩阵Opt，并把矩阵Opt中所有元素置为0，在矩阵Opt的第x
1,i
*160行至第x
2,i
*160行中，将位于第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结果特征融合的多模态目标检测方法，其特征在于，所述方法具体包括以下步骤：采集同一场景下的图像数据和点云数据；构建MMDR多模态模型，所述MMDR多模态模型包括第一单模态检测器、第二单模态检测器、图像整体特征提取模块、点云整体特征提取模块、图像结果特征处理模块、点云结果特征处理模块、第一特征融合模块、第二特征融合模块、图像后处理特征网络以及点云后处理特征网络；所述第一单模态检测器内包括YOLOX模型的特征提取部分和YOLOX模型的检测头；所述图像整体特征提取模块内包括图像多尺度特征提取部分和图像多尺度特征处理部分；将采集的图像数据作为第一单模态检测器的输入，采集的图像数据依次经过YOLOX模型的特征提取部分和YOLOX模型的检测头后，获得图像结果特征；所述图像结果特征输入图像结果特征处理模块，获得处理后的图像结果特征；再将YOLOX模型的特征提取部分的输出依次经过图像整体特征提取模块的多尺度特征提取部分和图像多尺度特征处理部分，通过图像多尺度特征处理部分输出图像整体特征；所述第二单模态检测器内包括Pointpillar模型的特征提取部分和Pointpillar模型的检测头；所述点云整体特征提取模块内包括点云多尺度特征提取部分和点云多尺度特征处理部分；将采集的点云数据作为第二单模态检测器的输入，采集的点云数据依次经过Pointpillar模型的特征提取部分和Pointpillar模型的检测头后，获得点云结果特征；所述点云结果特征输入点云结果特征处理模块，获得处理后的点云结果特征；再将Pointpillar模型的特征提取部分的输出依次经过点云整体特征提取模块的点云多尺度特征提取部分和点云多尺度特征处理部分，通过点云多尺度特征处理部分输出点云整体特征；将处理后的图像结果特征、处理后的点云结果特征和图像整体特征输入第一特征融合模块进行特征融合，将特征融合结果作为图像后处理特征网络模块的输入，通过图像后处理特征网络模块输出对图像的二维目标检测结果；将处理后的图像结果特征、处理后的点云结果特征和点云整体特征输入第二特征融合模块进行特征融合，将特征融合结果作为点云后处理特征网络模块的输入，通过点云后处理特征网络模块输出对点云的三维目标检测结果。2.根据权利要求1所述的一种基于结果特征融合的多模态目标检测方法，其特征在于，所述图像整体特征提取模块中的图像多尺度特征提取部分和点云整体特征提取模块中的点云多尺度特征提取部分均为特征金字塔。3.根据权利要求2所述的一种基于结果特征融合的多模态目标检测方法，其特征在于，所述图像多尺度特征处理部分和点云多尺度特征处理部分的网络结构相同。4.根据权利要求3所述的一种基于结果特征融合的多模态目标检测方法，其特征在于，所述图像多尺度特征处理部分中包括并行的三个通道，且每个通道内的处理方式相同；将图像整体特征提取模块的图像多尺度特征提取部分提取的图像多尺度特征分别作
为每个通道的输入；图像多尺度特征在通道内依次经过反卷积层和大小为1
×
1的卷积层后，将三个通道的输出进行拼接，再将拼接结果作为图像整体特征。5.根据权利要求4所述的一种基于结果特征融合的多模态目标检测方法，其特征在于，所述点云多尺度特征处理部分中包括并行的三个通道，且每个通道内的处理方式相同；将点云整体特征提取模块的点云多尺度特征提取部分提取的点云多尺度特征分别作为每个通道的输入；点云多尺度特征在通道内依次经过反卷积层和大小为1

【专利技术属性】
技术研发人员：吴立刚，吴承伟，张文栋，尹立远，朱鸿铭，陈禹成，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：