多模态特征对齐融合的路侧目标检测方法、系统及装置制造方法及图纸

本发明专利技术属于计算机视觉领域，具体涉及了多模态特征对齐融合的路侧目标检测方法、系统及装置，旨在解决不同模态数据存在时空不同步偏差，阻碍多模态特征融合的问题。本发明专利技术方法包括：采用卷积神经网络获取待处理图像的多尺度特征图组；采用PointNet++方法获取特征提取后的点特征集合；不同大小的点集对所述多尺度特征图组进行相邻区域搜索并融合；通过在特征融合模块增加通道级的信息交互层来引入全局信息；特征通过检测头生成三维边界框和分类评分，进行待处理点云的目标检测。本发明专利技术方法采用搜索对齐的方法，可以补偿不同模态数据存在时空不同步问题对多模态特征融合带来的不良影响，并准确获得检测结果。并准确获得检测结果。并准确获得检测结果。

【技术实现步骤摘要】
多模态特征对齐融合的路侧目标检测方法、系统及装置


[0001]本专利技术属于计算机视觉领域，具体涉及了一种多模态特征对齐融合的路侧目标检测方法、系统及装置。

技术介绍

[0002]目标检测是自动驾驶和智能交通的核心组成部分。目前在道路交通场景下的三维目标检测任务中通常采用图像、点云等数据作为输入，预测道路上关键元素的几何和语义信息。基于图像的检测图像纹理信息丰富，但缺乏空间信息的维度，无法精确地恢复空间信息的位置。而激光雷达具有探测距离远、不受光线影响并且能够准确获得目标距离信息等优点，能够弥补相机图像的缺点。基于激光雷达的检测提供丰富的三维结构信息，但是存在点云稀疏的问题。因此，自动驾驶目标检测主要利用多传感器融合，特别是激光雷达和摄像机的融合。
[0003]不同模态的特征具有不同的表示方式，如何对齐多个模态特征进行融合是关键。无论是哪种方法，多模态数据融合的重要前提是把不同传感器的数据标定到同一个坐标系里，具体来说不同传感器的数据之间对应关系要准确。对于现实场景的交通数据集而言，由于数据集校准和同步过程存在误差，相机和激光雷达数据在时间和空间上存在不同步是很常见的问题。同时，我们还要考虑在特征级融合的方法中，不同模态的原始数据经过特征提取后由标定参数确定的对应关系会出现新的误差。由于这些特征经常被增强和聚合，融合中的一个关键挑战是如何有效地对齐来自两种模态转换后的特征。通过原始数据的标定参数获得粗糙的对应关系存在偏差时，结合两种模态优势的难度就大大增加。
[0004]近年来，多模态三维目标检测是一个关注热点。目前流行的多模态三维目标检测方法根据融合时机可以分为数据级、特征级和决策级融合。其中数据级融合主要融合原始或预处理的传感器数据，充分利用数据的原始信息，对计算量要求比较低，但不够灵活。决策级融合结合不同数据模态网络结构的决策输出，具有很高的灵活性和模块化，但计算成本较高，会丢失很多中间特征。特征级融合在中间层融合特征，使得网络能够学习不同特征表示，难点在于融合时机的选择。
[0005]多模态融合的重要前提是把不同传感器的数据或特征对齐。现存的方法大部分需要庞大的算力支持多模态信息的全局交互，并且基于体素等方法提取点云特征会损失部分信息。另一方面，这些方法在公开数据集上进行研究，很难界定特征对齐的效果和对检测性能的影响。我们对于存在时空不同步问题的路侧数据集的实验验证能补充该领域的研究。
[0006]基于此，本专利技术提供了一种多模态特征对齐融合的路侧目标检测方法、系统及装置。

技术实现思路

[0007]为了解决现有技术中的上述问题，即现有技术的研究数据集存在时空不同步偏差，阻碍多模态特征融合的问题，本专利技术提供了一种多模态特征对齐融合的路侧目标检测
方法、系统及装置。
[0008]本专利技术的一方面，提出了一种多模态特征对齐融合的路侧目标检测方法，该方法包括：
[0009]步骤S10，获取待进行三维目标检测图像及其对应的点云数据；提取所述输入图像的多尺度特征图；提取所述点云数据的多个点特征集合；
[0010]步骤S20，分别将多个点特征集合中的点特征映射在所述多尺度特征图上，得到对应的坐标；根据所述坐标获取区域值，在所述多尺度特征图上获取多个增加了所述区域值后的区域内的图像特征，作为第一融合图像特征；
[0011]步骤S30，将所述多尺度特征图的图像特征、各第一融合图像特征分别与预构建的注意力权重矩阵融合，并将融合后的多尺度特征图的图像特征分别与融合后的各第一融合图像特征进行拼接，得到第二融合图像特征，将所述第二融合图像特征与对应的所述点特征集合进行拼接，得到增强的点云特征；
[0012]步骤S40，对各多尺度特征图的图像特征进行反卷积处理，并将反卷积处理后的图像特征进行拼接，得到拼接图像特征，将所述拼接图像与所述增强的点云特征融合，得到多模态特征融合点云；将所述多模态特征融合点云通过检测头生成三维边界框和分类评分，作为三维目标检测结果进行输出；所述检测头基于卷积层构建。
[0013]在一些优选的实施方式中，所述第一融合图像特征，其获取方法为：
[0014]步骤S21、获取所述点特征集合中的点云特征F
p
在激光雷达坐标上的坐标点P，将所述P在所述多尺度特征上的映射作为关键点坐标P
c
，以所述P
c
为指针在所述多尺度特征图上进行搜索，得到对应的多尺度特征图的图像特征F
i
；
[0015]步骤S22、在所述P
c
周围增加区域值P
offset
，将所述区域值P
offset
与所述P
c
的和为指针进行搜索，得到第一融合图像特征F
′
i
：
[0016]P
offset
＝R
n
×
sigmoid(W1F
p
)；
[0017]P
′
c
＝P
c
+P
offset
；
[0018]其中，所述R
n
是邻域范围参数，所述W1为可学习权重矩阵，P
′
c
表示区域值P
offset
与P
c
的和。
[0019]在一些优选的实施方式中，所述增强的点云特征，其获取方法为：
[0020]步骤S31，将所述点特征集合中的点云特征F
p
、所述图像特征F
i
和所述F
′
i
，通过多个可学习权重矩阵进行加权处理，得到注意力权重矩阵W
attention
、W
′
attention
：
[0021]W
attention
＝sigmoid(W4tanh(W2F
p
+W3F
i
))；
[0022]W
′
attention
＝sigmoid(W4tanh(W2F
p
+W3F
′
i
))；
[0023]其中，W2、W3和W4为可学习权重矩阵；
[0024]步骤S32，根据所述W
attention
、所述W
′
attention
、所述F
i
、所述F
′
i
得到增强的点云特征F
′
p
：
[0025]F
′
p
＝C(C(W
attention
F
i
∪W
′
attention F
′
i
)，F
p
)；
[0026]其中，C代表特征拼接操作，∪代表取并集操作。
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态特征对齐融合的路侧目标检测方法，其特征在于，该方法包括：步骤S10，获取待进行三维目标检测图像及其对应的点云数据；提取所述输入图像的多尺度特征图；提取所述点云数据的多个点特征集合；步骤S20，分别将多个点特征集合中的点特征映射在所述多尺度特征图上，得到对应的坐标；根据所述坐标获取区域值，在所述多尺度特征图上获取多个增加了所述区域值后的区域内的图像特征，作为第一融合图像特征；步骤S30，将所述多尺度特征图的图像特征、各第一融合图像特征分别与预构建的注意力权重矩阵融合，并将融合后的多尺度特征图的图像特征分别与融合后的各第一融合图像特征进行拼接，得到第二融合图像特征，将所述第二融合图像特征与对应的所述点特征集合进行拼接，得到增强的点云特征；步骤S40，对各多尺度特征图的图像特征进行反卷积处理，并将反卷积处理后的图像特征进行拼接，得到拼接图像特征，将所述拼接图像与所述增强的点云特征融合，得到多模态特征融合点云；将所述多模态特征融合点云通过检测头生成三维边界框和分类评分，作为三维目标检测结果进行输出；所述检测头基于卷积层构建。2.根据权利要求1所述的一种多模态特征对齐融合的路侧目标检测方法，其特征在于，所述第一融合图像特征，其获取方法为：步骤S21、获取所述点特征集合中的点云特征F
p
在激光雷达坐标上的坐标点P，将所述P在所述多尺度特征上的映射作为关键点坐标P
c
，以所述P
c
为指针在所述多尺度特征图上进行搜索，得到对应的多尺度特征图的图像特征F
i
；步骤S22、在所述P
c
周围增加区域值P
offset
，将所述区域值P
offset
与所述P
c
的和为指针进行搜索，得到第一融合图像特征F
′
i
：P
offset
＝R
n
×
sigmoid(W1F
p
)；P
′
c
＝P
c
+P
offset
；其中，所述R
n
是邻域范围参数，所述W1为可学习权重矩阵，P
′
c
表示区域值P
offset
与P
c
的和。3.根据权利要求1所述的一种多模态特征对齐融合的路侧目标检测方法，其特征在于，所述增强的点云特征，其获取方法为：步骤S31，将所述点特征集合中的点云特征F
p
、所述图像特征F
i
和所述F
′
i
，通过多个可学习权重矩阵进行加权处理，得到注意力权重矩阵W
attention
、W
′
attention
：W
attention
＝sigmoid(W4tanh(W2F
p
+W3F
i
))；W
′
attention
＝sigmoid(W4tanh(W2F
p
+W3F
i
))；其中，W2、W3和W4为可学习权重矩阵；步骤...

【专利技术属性】
技术研发人员：王坤峰，张书琴，王亚东，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：