雷视传感融合的天时场景自适应三维目标检测方法技术

本发明专利技术提出了雷视传感融合的场景自适应三维目标检测方法，首先对输入的点云数据与图像数据分别提取原始点云特征与图像特征；然后将原始点云经过矩阵变换投影到图像特征图上，对点云投影点进行逐点特征融合，得到点云的逐点融合特征；再构建场景驱动的三维目标检测网络，根据当前场景中的天气时间状况与目标尺度大小提出天时感应因子与场景尺度因子，并根据天时场感应因子与场景尺度因子自适应的实现逐点融合特征与原始点云特征的全局特征融合，并将全局融合特征输入三维区域生成网络生成感兴趣区域，提取出区域特征候送入三维目标检测网络完成三维目标检测；最后利用训练好的三维目标检测网络对目标进行实时检测。维目标检测网络对目标进行实时检测。维目标检测网络对目标进行实时检测。

【技术实现步骤摘要】
雷视传感融合的天时场景自适应三维目标检测方法


[0001]本专利技术涉及雷视传感融合的场景自适应三维目标检测方法，属于深度学习领域。

技术介绍

[0002]近年来，随着深度学习的迅猛发展以及高性能显卡的出现，极大地促进了三维目标检测方法的发展。基于多源数据的三维目标检测可以自动地融合目标特征，将不同模态的信息进行互补，在很大程度上提高了检测精度以及场景适用性，因此基于深度学习的三维目标检测方法掀起了一股研究热潮。
[0003]基于多源数据的三维目标检测方法要解决的问题是：找出如何更加精确且有效的方法利用多源数据，使之能够互补各自的固有缺陷，以此提高方法的准确性。现有的融合方法大多是将点云直接投影到二维平面上，再提取点云二维平面特征与图像特征进行简单拼接，这样存在不同模态数据域分布不一致，直接匹配存在信息冗余，干扰因素多的问题。同时遮挡严重或者亮度较低的场景下特征噪音较多，可能会在特征融合过程中引入有害信息，这些都会导致检测结果的精准性下降。

技术实现思路

[0004]为了克服现有方法的不足，本专利技术提出了雷视传感融合的场景自适应三维目标检测方法，首先对输入的点云数据与图像数据分别提取原始点云特征与图像特征；然后将原始点云经过矩阵变换投影到图像特征图上，对点云投影点进行逐点特征融合，得到点云的逐点融合特征；再构建场景驱动的三维目标检测网络，根据当前场景中的天气时间状况与目标尺度大小提出天时感应因子与场景尺度因子，并根据天时场感应因子与场景尺度因子自适应的实现逐点融合特征与原始点云特征的全局特征融合，并将全局融合特征输入三维区域生成网络生成感兴趣区域，提取出区域特征候送入三维目标检测网络完成三维目标检测；最后利用训练好的三维目标检测网络对目标进行实时检测。
[0005]为了解决上述技术问题，本专利技术采用的技术方案是：
[0006]一种雷视传感融合的场景自适应三维目标检测方法，具体过程如下：
[0007]步骤1，对输入的点云数据与图像数据分别提取原始点云特征与图像特征；
[0008]步骤2，将输入的点云数据投影到图像特征上，对点云投影点进行逐点特征融合，得到点云数据的逐点融合特征；
[0009]步骤3，构建场景驱动的三维目标检测网络，利用训练好的三维目标检测网络对目标进行实时检测。
[0010]进一步地，所述步骤1中对输入的点云数据提取原始点云特征的具体过程如下：
[0011]对于点云数据，首先随机选取一个点云数据作为初始点云数据；再依次利用最远点采样的方式在点云数据中进行随机采样，当采集完成后以每个采集到的点云数据作为球心，并指定半径形成一个球体，各球体里面包含的所有点云数据被称为一个簇；最后对各簇中每一个点云数据提取特征后在通道维度进行最大池化得到簇特征，将所有簇特征组合得
到原始点云特征。
[0012]进一步地，所述步骤1中对输入的图像数据提取图像特征的具体过程如下：
[0013]对于图像数据，首先输入级联的四个卷积块，且每个卷积块后面接一个批归一化层和ReLU激活函数；然后对最后一个卷积块的输出并行地采用四个不同步长的转置卷积，得到四个相同分辨率的特征图，四个相同分辨率的特征图拼接得到图像特征。
[0014]进一步地，所述步骤2的具体过程如下：
[0015]步骤2.1，将输入的点云数据根投影到图像特征上；
[0016]步骤2.2，划分点云投影点的逐点融合区域：
[0017][0018]其中，h
i
和w
i
分别为以第i个点云数据P
i
在图像特征上的点云投影点P
i
′
为中心点时划分的逐点融合区域的高和宽；为向上取整函数；φ
i
为P
i
′
对应的权重系数，对应的权重系数，为P
i
′
对应的离散系数，k
min
和k
max
分别表示离散系数集合中的最小值和最大值；H和W分别表示图像数据的高度和宽度；i,j∈[1,2,...,L]，L为点云投影点数量；d
ij
为p
′
i
与第j个点云数据P
j
在图像特征上的点云投影点p
′
j
的距离；
[0019]步骤2.3，将逐点融合区域均匀分割为I行和J列，并计算每个格子的中心点的坐标；
[0020]步骤2.4，对每个格子的中心点，获取对其进行双线性插值的结果和最近邻插值的结果；
[0021]步骤2.5，将每个格子的中心点的双线性插值结果和最近邻插值结果进行加权融合，获得对应格子的插值特征向量；
[0022]步骤2.6，计算每个格子对应的中心距离度量系数，并进行归一化；
[0023]步骤2.7，根据归一化后的中心距离度量系数对每个格子的插值特征向量进行加权求和，得到对应点云投影点的点融合特征；
[0024]步骤2.8，对所有点云投影点的点融合特征进行拼接，得到点云数据的逐点融合特征。
[0025]进一步地，所述步骤2.1中将输入的点云数据根据以下公式投影到图像特征上：
[0026]P
i
′
＝K
r
[R
c
|T
c
]P
i
[0027]其中P
i
′
为第i个点云数据P
i
在图像特征上的点云投影点；K
r
为摄像头内参矩阵；R
c
为旋转矩阵，T
c
为投影矩阵。
[0028]进一步地，所述步骤2.3中格子中心点的坐标的计算公式如下：
[0029][0030]其中，(u
ab
,v
ab
)为逐点融合区域内第a行第b列格子中心点的坐标；a＝1,2,...I，b
＝1,2,...J；h为该逐点融合区域的高，w为该逐点融合区域的宽；(u,v)为该逐点融合区域内点云投影点的坐标。
[0031]进一步地，所述步骤2.4中，逐点融合区域内第a行第b列格子的中心点的双线性插值的结果f
ab_1
和最近邻插值的结果f
ab_2
的计算过程如下：
[0032]f
ab_1
＝f1(u
‑
u1)(v
‑
v1)+f2(u
‑
u1)(v2‑
v)+f3(u2‑
u)(v
‑
v1)+f4(u2‑
u)(v2‑
v)
[0033][0034]其中，(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)分别为该格子中心点的四个最近邻点云投影点的坐标：d1,d2,d3,d4{d1,d2,d3,d4}为四个最近邻点云投影点到该格子中心点的距离；f1、f2、f3、f4为四个最近本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.雷视传感融合的场景自适应三维目标检测方法，其特征在于，具体过程如下：步骤1，对输入的点云数据与图像数据分别提取原始点云特征与图像特征；步骤2，将输入的点云数据投影到图像特征上，对点云投影点进行逐点特征融合，得到点云数据的逐点融合特征；步骤3，构建场景驱动的三维目标检测网络，利用训练好的三维目标检测网络对目标进行实时检测。2.根据权利要求1所述的雷视传感融合的场景自适应三维目标检测方法，其特征在于，所述步骤1中对输入的点云数据提取原始点云特征的具体过程如下：对于点云数据，首先随机选取一个点云数据作为初始点云数据；再依次利用最远点采样的方式在点云数据中进行随机采样，当采集完成后以每个采集到的点云数据作为球心，并指定半径形成一个球体，各球体里面包含的所有点云数据被称为一个簇；最后对各簇中每一个点云数据提取特征后在通道维度进行最大池化得到簇特征，将所有簇特征组合得到原始点云特征。3.根据权利要求1所述的雷视传感融合的场景自适应三维目标检测方法，其特征在于，所述步骤1中对输入的图像数据提取图像特征的具体过程如下：对于图像数据，首先输入级联的四个卷积块，且每个卷积块后面接一个批归一化层和ReLU激活函数；然后对最后一个卷积块的输出并行地采用四个不同步长的转置卷积，得到四个相同分辨率的特征图，四个相同分辨率的特征图拼接得到图像特征。4.根据权利要求1所述的雷视传感融合的场景自适应三维目标检测方法，其特征在于，所述步骤2的具体过程如下：步骤2.1，将输入的点云数据投影到图像特征上；步骤2.2，划分点云投影点的逐点融合区域：其中，h
i
和w
i
分别为以第i个点云数据P
i
在图像特征上的点云投影点P
i
′
为中心点时划分的逐点融合区域的高和宽；为向上取整函数；φ
i
为P
i
′
对应的权重系数，k
pi
′
为P
i
′
对应的离散系数，k
min
和k
max
分别表示离散系数集合中的最小值和最大值；H和W分别表示图像数据的高度和宽度；i,j∈[1,2,...,L]，L为点云投影点数量；d
ij
为p
′
i
与第j个点云数据P
j
在图像特征上的点云投影点p
′
j
的距离；步骤2.3，将逐点融合区域均匀分割为I行和J列，并计算每个格子的中心点的坐标；步骤2.4，对每个格子的中心点，获取对其进行双线性插值的结果和最近邻插值的结果；步骤2.5，将每个格子的中心点的双线性插值结果和最近邻插值结果进行加权融合，获得对应格子的插值特征向量；步骤2.6，计算每个格子对应的中心距离度量系数，并进行归一化；
步骤2.7，根据归一化后的中心距离度量系数对每个格子的插值特征向量进行加权求和，得到对应点云投影点的点融合特征；步骤2.8，对所有点云投影点的点融合特征进行拼接，得到点云数据的逐点融合特征。5.根据权利要求书4所述的雷视传感融合的场景自适应三维目标检测方法，其特征在于，所述步骤2.4中，逐点融合区域内第a行第b列格子的中心点的双线性插值的结果f
ab_1
和最近邻插值的结果f
ab_2
的计算过程如下：f
ab_1
＝f1(u
‑
u1)(v
‑
v1)+f2(u
‑
u1)(v2‑
v)+f3(u2‑
u)(v
‑
v1)+f4(u2‑
u)(v2‑
v)其中，(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)分别为该格子中心点的四个最近邻点云投影点的坐标；d1,d2,d3,d4{d1,d2,d3,d4}为四个最近邻点云投影点到该格子中心点的距离；f1、f2、f3、f4为四个最近邻点云投影点对应的特征向量，是该格子中心点最近邻点云投影点对应的特征向量。6.根据权利要求书4所述的雷视传感融合的场景自适应三维目标检测方法，其特征在于，所述步骤2.5中，逐点融合区域内第a行第b列格子的插值特征向量f
ab
的计算公式如下：其中，f
ab_1
和f
ab_2
分别为逐点融合区域内第a行第b列格子的中心点的双线性插值的结果和最近邻插值的结果；为聚合系数，为聚合系数，N
d
是特征向量维度的长度，f
ω_ψ
表示第ω个特征向量在第ψ维上的特征值；μ
ψ

【专利技术属性】
技术研发人员：张晖，孙恩东，赵海涛，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：