基于相机和激光雷达的多类目标检测方法技术

本发明专利技术公开了基于相机和激光雷达的多类目标检测方法，主要解决现有目标检测方法检测精确度低的问题。其实现方案为：获取路面图像和点云数据；对点云数据进行体素化预处理；对预处理后的点云进行空间信息加强；对空间信息加强后的点云进行颜色信息融合；对融合后的点云进行卷积获得双加强伪图像；根据双加强伪图像得到待检测特征图；将待检测特征图送入SSD检测器，生成汽车行进过程中对前方目标的检测结果。本发明专利技术通过建立模态内映射矩阵和采样增强了点云的空间信息，通过尺寸调整和生成伪视图变换矩阵将RGB图像的颜色信息与点云进行融合，提高了目标检测的精确度，可用于无人汽车的自动驾驶。的自动驾驶。的自动驾驶。

【技术实现步骤摘要】
基于相机和激光雷达的多类目标检测方法


[0001]本专利技术属于物理
，更进一步涉及一种多类目标检测方法，可用于无人汽车的自动驾驶。

技术介绍

[0002]相机作为无人汽车驾驶系统中最常用的传感器，它获得的图像包含外界环境的颜色信息，在目标检测中发挥极其重要的作用，但其缺点是缺乏深度信息且会受到自然条件的影响。激光雷达拥有对照明条件依赖性低、不容易受到恶劣天气的影响、探测精度高的优点。它产生的数据为点云数据，通过分析并处理点云数据，可以获得更详细的目标形状和位置信息，有助于汽车更好的了解环境，可以提供更加稳定且精准的感知结果。所以，无人汽车利用相机和激光雷达产生的数据进行融合，以检测汽车行进过程中位于该车前方的目标，如汽车、行人、骑车的人已成为一种趋势。
[0003]目前，对于相机和激光雷达这两类传感器数据融合算法分为三类：前端融合、深度融合、后端融合。前端融合，主要针对数据层面的融合，它将不同模态的数据在输入之前先融合为单一的特征向量，然后输入进行后续操作。其数据既可以是来自传感器的原始数据，也可以是经过预处理的数据。深度融合，主要针对特征层面的融合，其将不同模态的原始数据在提取特征之后先转化为高维特征表达，再在不同的特征层中做一些交互融合操作。后端融合，主要针对决策层面的融合，其对不同模态的原始数据用各自的网络处理，输出分类分数，在分数上进行融合。
[0004]中诚华隆计算机技术有限公司在其申请号为：CN202211082826的专利文献中公开了一种“基于多传感器数据融合的自动驾驶决策方法及SoC芯片”，其将点云数据输入训练好的点云目标检测神经网络模型，进行障碍物目标检测。该方法虽然使用了相机，但在障碍物检测上，只利用激光雷达采集到的点云数据，未能充分利用传感器数据，对于获得图像只用来检测车道而忽略了颜色信息对于障碍物的重要性，使得无法对障碍物进行高效检测。
[0005]斯润天朗(北京)科技有限公司在申请号：CN202211314591的专利文献中公开了一种“基于场景感知的V2X多传感器融合方法及装置”，其将获取到的传感器数据先进行时间同步预处理操作，再对预处理后的两类数据进行比较，获取传感器之间的相关系数和各个传感器的置信度，从而进行场景判断；最后，基于判断后的场景和输入的传感器的类型，确定预设的神经网络中的各个传感器的融合权重，得到融合结果。该方法由于对不同传感器数据的融合发生在决策层面，忽略了不同传感器数据之间的关系，因而无法互补不同模态数据之间的特点，最终降低了目标检测的精确度。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出一种基于相机和激光雷达的多类目标检测方法，旨在解决单激光雷达目标检测算法缺失颜色信息的弊端，以及决策级融合无法充分考虑不同模态数据的特性关系的弊端，提高目标检测的精度。
[0007]本专利技术的技术思路是：通过对RGB图像设置一路图像辅助处理分支，对点云设置一路点云主处理分支和一路点云辅助处理分支，以解决单激光雷达目标检测缺少颜色信息的问题；通过单模态自融合，将点云辅助处理分支的空间信息能融合入点云主处理分支，以解决决策级融合无法互补不同模态数据之间特点的问题。
[0008]根据上述思路，本专利技术实现步骤包括如下：
[0009](1)分别通过传感器获得数据，相机获得RGB图像F1，激光雷达获得点云R1(x,y,z,r)；
[0010](2)对点云R1(x,y,z,r)进行体素化预处理，获得原始伪图像P：
[0011](3)利用单模态自融合方法将伪图像P的空间信息加强，生成空间加强伪图像Ps
i
：
[0012](3a)将点云特征R
i
与伪图像特征P进行配准，生成模态内映射矩阵M
RP
：
[0013]M
RP
＝R
i
/P
i
；
[0014](3b)根据采样位置p'和模态内映射矩阵M
RP
，为生成一个特征表示V
RP
：
[0015][0016]其中，K表示双线性插值函数，表示采样位置p'处相邻像素的特征；
[0017](3c)利用SetAbstraction采样操作对点云特征R
i
进行特征提取，生成待融合点云特征R
i
'；
[0018](3d)将特征表示V
RP
和待融合点云特征R
i
'逐点融合，生成已融合点云特征R
i”：
[0019]R
i”＝σ(Wtanh(UV
RP
+VR
i
))
[0020]其中，W,U和V是三个不同数值的可学习权重矩阵，σ表示sigmoid激活函数，tanh表示双曲正切函数；
[0021](3e)对已融合点云特征R
i”利用两个全连接层FC()得到空间加强伪图像Ps
i
：
[0022]Ps
i
＝P
i
×
FC(FC(R
i”))
[0023](4)将RGB图像F
i
的颜色信息融入空间加强伪图像Ps
i
，生成颜色加强伪图像Pc
i
：
[0024](4a)对RGB图像F
i
尺寸进行调整的，使其尺寸与空间加强伪图像Ps
i
的尺寸相同；
[0025](4b)将调整尺寸后的RGB图像F
i
和空间加强伪图像Ps
i
分别执行BatchNorm操作和ReLu操作，并在通道维度上进行连接得到待变换图PF；
[0026](4c)对待变换图PF利用空间注意力公式和通道注意力公式分别生成空间因子矩阵M
s
和通道因子矩阵M
c
，并得到伪视图变换矩阵M
cs
：
[0027]M
cs
＝0.6*M
c
+0.4*M
s
；
[0028](4d)将伪视图变换矩阵M
cs
与RGB图像F
i
相乘得到视角转换伪图像Pv
i
，并将该伪图像Pv
i
与空间加强伪图像Ps
i
在通道维度进行拼接，生成双加强伪图像Pc
i
；
[0029](5)根据双加强伪图像Pc
i
获得双加强伪图像：
[0030](5a)对双加强伪图像Pc
i
进行卷积，得到降采样双加强伪图像Pc
i+1
，返回步骤(3)；
[0031](5b)重复步骤(5a)，最终得到双加强伪图像Pc3；
[0032](6)对双加强伪图像Pc3执行两次转置卷积，分别得到已转置两个特征图Pt1和Pt2。将双加强伪图像P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机和激光雷达的多类目标检测方法，其特征在于，包括如下步骤：(1)分别通过传感器获得数据，相机获得RGB图像F1，激光雷达获得点云R1(x,y,z,r)；(2)对点云R1(x,y,z,r)进行体素化预处理，获得原始伪图像P：(3)将原始伪图像P的空间信息加强，生成空间加强伪图像Ps
i
：(3a)将点云特征R
i
与伪图像特征P进行配准，生成模态内映射矩阵M
RP
：M
RP
＝R
i
/P
i
；(3b)根据采样位置p'和模态内映射矩阵M
RP
，生成一个特征表示V
RP
：其中，K表示双线性插值函数，表示采样位置p'处相邻像素的特征；(3c)利用SetAbstraction操作对点云特征R
i
进行特征提取，生成待融合点云特征R
i
'；(3d)将特征表示V
RP
和待融合点云特征R
i
'逐点融合，生成已融合点云特征R
i”：R
i”＝σ(Wtanh(UV
RP
+VR
i
))其中，W,U和V是三个不同数值的可学习权重矩阵，σ表示sigmoid激活函数，tanh表示双曲正切函数；(3e)对已融合点云特征R
i”利用两个全连接层FC()得到空间加强伪图像Ps
i
：Ps
i
＝P
i
×
FC(FC(R
i”))(4)将RGB图像F
i
的颜色信息融入空间加强伪图像Ps
i
，生成颜色加强伪图像Pc
i
：(4a)对RGB图像F
i
尺寸进行调整的，使其尺寸与空间加强伪图像Ps
i
的尺寸相同；(4b)将调整尺寸后的RGB图像F
i
和空间加强伪图像Ps
i
分别执行BatchNorm操作和ReLu操作，并在通道维度上进行连接得到待变换图PF；(4c)对待变换图PF利用空间注意力公式和通道注意力公式分别生成空间因子矩阵M
s
和通道因子矩阵M
c
；(4d)根据空间因子矩阵M
s
和通道因子矩阵M
c
，计算得到伪视图变换矩阵M
cs
：M
cs
＝0.6*M
c
+0.4*M
s
；(4e)将伪视图变换矩阵M
cs
与RGB图像F
i
相乘得到视角转换伪图像Pv
i
，并将该伪图像Pv
i
与空间加强伪图像Ps
i
在通道维度进行拼接，生成双加强伪图像Pc
i
；(5)根据双加强伪图像Pc
i
获得双加强伪图像：(5a)对双加强伪图像Pc
i
进行卷积，得到降采样双加强伪图像Pc
i+1
，返回步骤(3)；(5b)重复步骤(5a)，最终得到双加强伪图像Pc3；(6)对双加强伪图像Pc3执行两次转置卷积，分别得到已转置两个特征图Pt1和Pt2。将双加强伪图像Pc3与已转置的两个特征图Pt1、Pt2依次拼接...

【专利技术属性】
技术研发人员：张静，许达，李云松，
申请(专利权)人：西安电子科技大学芜湖研究院，
类型：发明
国别省市：