基于深度学习的多目标检测识别方法技术

本发明专利技术公开了一种基于深度学习的多目标检测识别方法，点云映射网络对已有的3D点云数据集进行二维图像特征映射，加入偏移量特征，获得以三维点云投影并离散成分辨率固定的二维网格；其次，通过条状池化对所述二维网格进行卷积处理，获得一维向量的特征图；再次，卷积网络中引入注意力机制对一维向量的特征图进行强化处理；最后，针对所述一维向量的特征图中每个网格单元设计预测边界框，并且确定目标的空间位置、大小、类别概率和方向信息。本发明专利技术首次在点云映射方法中加入偏移量特征，在卷积网络中引入注意力机制，让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。特征。特征。

【技术实现步骤摘要】
基于深度学习的多目标检测识别方法


[0001]本专利技术属于目标检测识别领域，具体涉及一种基于深度学习的多目标检测识别方法。

技术介绍

[0002]在无人驾驶领域，3D点云目标检测作为最热门研究方向之一，在实际应用中3D目标检测任务能否对实测的点云数据进行有效的精确检测关系到无人驾驶技术的成熟度和落地进程。
[0003]针对原始点云数据有基于图网络的建模，直接根据三维点云直接建立无向图，目的是在空间中离散的三维点之间建立某种联系，从而为后续的聚类和分割做准备；同时还有提出使用向量作为节点特征的方法，将点云看成连续曲面上的离散采样，在曲面在每个节点处取法向量，如果两个相邻的节点的法向量相似则说明这两个节点所在局部平面比较光滑，则可判定两个节点属于同一物体。
[0004]由于直接在三维中做物体检测的精确度不高，而且路径规划和车辆控制一般也只考虑在二维平面中车体的运动，因此基于鸟瞰图的目标检测方法应运而生，以沿用二维图片目标检测的方法为主如，主要在鸟瞰图结构的建立、物体的空间位置的估计以及物体在二维平面内的旋转角度的估计方面有所不同，从检测结果来看这类算法比在三维空间中的物体检测精度更高，更具非常重要的现实意义。

技术实现思路

[0005]鉴于此，本专利技术的主要目的在于提供一种基于深度学习的多目标检测识别方法。
[0006]为达到上述目的，本专利技术实施例的技术方案是这样实现的：
[0007]本专利技术实施例提供一种基于深度学习的多目标检测识别方法，该方法为：点云映射网络对已有的3D点云数据集进行二维图像特征映射，加入偏移量特征，获得以三维点云投影并离散成分辨率固定的二维网格；其次，通过条状池化对所述二维网格进行卷积处理，获得一维向量的特征图；再次，卷积网络中引入注意力机制对一维向量的特征图进行强化处理；最后，针对所述一维向量的特征图中每个网格单元设计预测边界框，并且确定目标的空间位置、大小、类别概率和方向信息。
[0008]上述方案中，所述点云映射网络对已有的3D点云数据集进行二维图像特征映射，加入偏移量特征，获得以三维点云投影并离散成分辨率固定的二维网格，具体为：将目标的过高的目标点云剔除，定义映射函数Sj＝fps(P
Ω
；g)，通过S∈R
n
×
m
将每个具有索引i的点映射到的网格单元S
j
中，集合描述映射到特定网格单元的所有点，计算每个像素的通道，考虑到像素强度为I(P
Ω
)：
[0009]I
g
＝max(P
Ωi
→
j
[0,0,1]T
)
[0010]I
b
＝max(I(P
Ωi
→
j
))
[0011]I
r
＝min(1.0,log(N+1)/64)
[0012][0013][0014]其中N为从P
Ωi
映射到S
j
的点数，g是网格单元大小的参数，I
g
是编码最大高度，I
b
是编码最大强度，I
r
是编码所有映射到S
j
的点的归一化密度，O
xj
、O
yj
为当前网格x方向和y方向的中心点在全局坐标轴下的坐标，为索引i的点映射到的网格单元S
j
中所有点的平均坐标，I
xu
、I
yu
为量化后特征点坐标针对所在网格中心点偏移距离。
[0015]上述方案中，所述通过条状池化对所述二维网格进行卷积处理，获得一维向量的特征图，具体为：采用池化层为1
×
n和n
×
1的特征提取网络对二维网格进行卷积运算，获得一维向量，与原输入图对应像素相乘获得最终的输出结果。
[0016]上述方案中，所述二维网格经过水平和竖直条纹池化后变为H
×
1和1
×
W，通过求平均的方法对池化核内的元素值求平均，并以该值作为池化输出值；随后经过卷积对两个输出特征图分别沿着左右和上下进行扩充，扩充后两个特征图尺寸相同，对扩充后的特征图对应相同位置进行逐像素求和得到H
×
W的特征图；最后通过1
×
1的卷积与激活函数处理后与原输入图对应像素相乘得到了最终的输出结果。
[0017]上述方案中，所述针对所述一维向量的特征图中每个网格单元设计预测边界框，并且确定目标的空间位置、大小、类别概率和方向信息，具体为：对每个网格单元预测5个边界框，添加了复数角度项通过复角扩展，根据嵌入网络的虚数和实数精确估计目标方向，通过检测模型确定目标。
[0018]上述方案中，所述目标的位置b
x,y
、宽度p
w
、长度p
h
及检测概率P0、分类得分P1....P
n
、的回归参数t
Im
和t
Re
及方向信息b
φ
关系如式所示:
[0019][0020]上述方案中，所述通过检测模型确定目标，具体为：通过改进后的多部分损失项的平方差之和，对损失函数的回归损失项乘以比例系数(2
‑
w
×
h)，其中w和h分别为真值目标的宽和高；
[0021]所述损失函数L
Y
的第一部分表示如式所示：
[0022][0023]其中λ
coord
为边界框位置预测损失项权重，λ
noobj
为错误预测损失项权重为网格单元i中有目标存在，网格单元i中，第j个边界框的预测结果，为交并比误差；
[0024]利用欧拉区域方案定义总损失函数的回归部分；
[0025]假设预测的复数与真实实数间的差，即和始终位于|z|＝1且的单位圆上，将损失函数定义为最小平方差的绝对值，如式所示：
[0026][0027]式中，λ为用于确保训练前期稳定收敛的比例因子；表示与该预测结果的真值相比，单元格i中的第j个边界框预测变量具有最高的交并比，此外，用交并比比较预测框P
j
和真实数据G，如式所示：
[0028][0029]改进后检测模型的总损失函数表示如式：
[0030]L
net
＝L
Y
+L
E
。
[0031]上述方案中，该方法还包括对一维向量的特征图进行强化处理，具体为：通过卷积网络对一维向量的特征图进行压缩处理，获得通道级的全局特征；对所述全局特征进行特征激励操作，学习各个通道间的关系，获得不同通道的权重，最后乘以原来的特征图得到最终特征。
[0032]上述方案中，所述过卷积网络对一维向量的特征图进行压缩处理，获得通道级的全局特征，具体为：将一个通道上整个空间特征编码为一个全局特征，采用全局平均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多目标检测识别方法，其特征在于，该方法为：点云映射网络对已有的3D点云数据集进行二维图像特征映射，加入偏移量特征，获得以三维点云投影并离散成分辨率固定的二维网格；其次，通过条状池化对所述二维网格进行卷积处理，获得一维向量的特征图；再次，卷积网络中引入注意力机制对一维向量的特征图进行强化处理；最后，针对所述一维向量的特征图中每个网格单元设计预测边界框，并且确定目标的空间位置、大小、类别概率和方向信息。2.根据权利要求1所述的一种基于深度学习的多目标检测识别方法，其特征在于，所述点云映射网络对已有的3D点云数据集进行二维图像特征映射，加入偏移量特征，获得以三维点云投影并离散成分辨率固定的二维网格，具体为：将目标的过高的目标点云剔除，定义映射函数Sj＝fps(P
Ω
；g)，通过S∈R
n
×
m
将每个具有索引i的点映射到的网格单元S
j
中，集合描述映射到特定网格单元的所有点，计算每个像素的通道，考虑到像素强度为I(P
Ω
)：I
g
＝max(P
Ωi
→
j
[0,0,1]
T
)I
b
＝max(I(P
Ωi
→
j
))I
r
＝min(1.0,log(N+1)/64)＝min(1.0,log(N+1)/64)其中N为从P
Ωi
映射到S
j
的点数，g是网格单元大小的参数，I
g
是编码最大高度，I
b
是编码最大强度，I
r
是编码所有映射到S
j
的点的归一化密度，O
xj
、O
yj
为当前网格x方向和y方向的中心点在全局坐标轴下的坐标，为索引i的点映射到的网格单元S
j
中所有点的平均坐标，I
xu
、I
yu
为量化后特征点坐标针对所在网格中心点偏移距离。3.根据权利要求2所述的基于深度学习的多目标检测识别方法，其特征在于，所述通过条状池化对所述二维网格进行卷积处理，获得一维向量的特征图，具体为：采用池化层为1
×
n和n
×
1的特征提取网络对二维网格进行卷积运算，获得一维向量，与原输入图对应像素相乘获得最终的输出结果。4.根据权利要求3所述的基于深度学习的多目标检测识别方法，其特征在于，所述二维网格经过水平和竖直条纹池化后变为H
×
1和1
×
W，通过求平均的方法对池化核内的元素值求平均，并以该值作为池化输出值；随后经过卷积对两个输出特征图分别沿着左右和上下进行扩充，扩充后两个特征图尺寸相同，对扩充后的特征图对应相同位置进行逐像素求和得到H
×
W的特征图；最后通过1
×
1的卷积与激活函数处理后与原输入图对应像素相乘得到了最终的输出结果。5.根据权利要求1
‑
4任意一项所述的基于深度学习的多目标检测识别方法，其特征在于，所述针对所述一维向量的特征图中每个网格单元设计预测边界框，并且确定目标的空间位置、大小、类别概率和方向信...

【专利技术属性】
技术研发人员：秦翰林，林杨，袁帅，梁毅，马琳，延翔，冯冬竹，李莹，许景贤，周慧鑫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：