一种近景远景多维度融合的三维目标检测方法、系统及存储介质技术方案

本发明专利技术提供了一种近景远景多维度融合的三维目标检测方法、系统及存储介质，三维目标检测方法包括：步骤一：使用Centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码

【技术实现步骤摘要】
一种近景远景多维度融合的三维目标检测方法、系统及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种近景远景多维度融合的三维目标检测方法、系统及存储介质。

技术介绍

[0002]随着自动驾驶技术的发展，近年涌现许多目标检测的相关研究。传统的三维目标检测中基于相机的方法通过图像的语义信息来估计目标分类和位置。但由于图像难以获得深度信息，需要额外的算力估计目标的深度信息。基于激光雷达的检测方法大多使用体素或点云的投影来进行检测。尽管点云较完整地保留了目标的几何信息，但点云的稀疏性和无序性，降低了准确检测远处物体的能力。主流采用多种传感器的算法同时使用激光雷达和相机，利用互补优势来实现高精度的三维目标检测。然而，这种方法在面对远景和不利天气时，检测精度都会下降。此外，相机与激光雷达在很多情况下也无法直接获取关键速度数据来防止碰撞。除激光雷达和相机外，毫米波雷达也被广泛用于辅助驾驶。毫米波雷达与激光雷达和相机相比，穿透能力强，在恶劣环境中表现出了较好的鲁棒性。此外，毫米波雷达还可以精准检测目标的相对速度。但是毫米波雷达的点云十分稀疏，只能作为深度和速度的信息来源，导致采用毫米波雷达进行检测的算法较少。因此，为了减弱算法对单传感器的依赖，增强算法的鲁棒性，同时提升对近景和远景的检测精度。

技术实现思路

[0003]为了解决现有技术中的问题，本专利技术提供了一种近景远景多维度数据融合的检测方法。
[0004]本专利技术提供了一种近景远景多维度融合的三维目标检测方法，包括：
[0005]步骤一：使用Centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码
‑
解码骨干网进行特征值的提取；
[0006]步骤二：使用估计的深度对目标进行三维感兴趣区域(ROI)的划分，再将检测任务分为近景检测和远景检测。
[0007]本专利技术还公开了一种近景远景多维度融合的三维目标检测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本专利技术所述的三维目标检测方法的步骤。
[0008]本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本专利技术所述的三维目标检测方法的步骤。
[0009]本专利技术的有益效果是：本专利技术的三维目标检测方法融合了激光雷达、毫米波雷达和摄像头三种传感器的优势，实现自动驾驶领域中的3D目标检测的技术，能够对车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。
附图说明
[0010]图1是本专利技术的三维目标检测方法的框架图；
[0011]图2是本专利技术的三维目标检测方法的坐标变换示意图；
[0012]图3是本专利技术的三维目标检测方法的点云检测网络示意图；
[0013]图4是本专利技术三维目标检测方法的雷达与关键点间速度的关系示意图；
[0014]图5是本专利技术三维目标检测方法的旋转估计网络示意图。
具体实施方式
[0015]本专利技术公开了一种近景远景多维度数据融合的检测方法，在远景和近景分别采用不同的检测方案，将检测中心点和后期检测的数据共享，提高数据的利用率。并利用毫米波雷达的速度信息作为先验和特征融入检测网络，提高物体检测精度。
[0016]如图1
‑
5所示，本专利技术公开了一种近景远景多维度数据融合的检测方法，包括：
[0017]步骤一：使用Centernet(中心网络)对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码
‑
解码骨干网进行特征值的提取；
[0018]所述步骤一具体为：
[0019]以I∈R
W
×
H
×3作为输入图像，其宽为W高为H，网络生成关于中心点的热图R为输出的尺寸缩放比例，C为中心点的类型，Y
x，y，c
＝1代表点(x，y)为类型C下的关键点，而Y
x，y，c
＝0则代表点(x，y)为类型c下的背景点。在训练关键点检测网络时，对于真值p∈R2进行降采样得通过构建如公式所示的高斯核函数：
[0020][0021]将真值投影在热图上，并通过σ来对目标2D检测框的大小进行自适应，σ仅是一个调整2D检测框的大小参数。训练的目标函数：
[0022][0023]其中N为目标的数量，为标定的真值热图，α和β为损失函数的超参数。对于检测到的每个中心点，网络预测了局部的偏移量，用来补偿骨干网中由于降采样而导致的离散化误差。网络对目标的2D尺寸、三维尺寸、目标深度和旋转角进行回归。这些值都是由如图1所示的主检测头进行回归，每个主检测头由一个3
×
3的卷积层和一个1
×
1的卷积层构成，前者作为输入后者作为输出。这个检测网络为后续检测人物提供了对目标中心点和2D检测框的精准检测，同时实现了对目标3D信息的初步检测。
[0024]步骤二：使用估计的深度对目标进行三维感兴趣区域(ROI)的划分，再将检测任务分为近景检测和远景检测。
[0025]本专利技术的三维目标检测方法利用不同数据的不同优势来创建互补特征。
[0026]在进行对于近景的检测任务时，使用视锥体内的RGB
‑
D数据构建关于目标的特征，
并利用2D检测带来的语义信息作为先验信息。具体包括：
[0027]步骤S1：首先，为了增强目标的旋转不变性，减轻网络的学习压力，对坐标轴进行沿y轴的旋转，使得旋转后的z轴穿过中心点热图中的峰值在y轴上的投影，然后通过构建旋转矩阵R
y
(θ
Δy
)∈R3×3将全局坐标转化为局部坐标。
[0028]步骤S2：为了滤去与目标无关的点云数据，在视锥体中本专利技术对点云数据进行分割。首先将转换为局部坐标的点云数据输入到共享的多个Mlp感知机中进行升维处理，将点云数据中的每个点都升为1024维的特征向量，通过Maxpooling层在保持点云无序性的前提下得到关于点云数据的全局特征。然后将全局特征和每一个点相连接并加入K维的one
‑
hot vecter(独热编码)来保证分割网络可以充分利用2D检测带来的先验信息，通过相同的共享Mlp(感知机)来生成n
×
1的向量来对点云数据进行分割，最后利用局部坐标y轴上与分割后的点云质心最近的点来初步的回归目标的中心。
[0029]在进行点云数据分割时得到的初步目标中心与目标的真实中心有着较大的差异，为了准确的对目标中心进行回归，本专利技术使用了一种特殊的空间变换网络(T
‑
Net)并利用CenterNet回归到的二维目标中心与深度值之间的关系来对T
‑
Net进行降维处理，如公式所示：
[0030][0031]其中，d为由于t空间变换网络(T
‑
Ne)回归的为初步目标中心深度和实际本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种近景远景多维度融合的三维目标检测方法，其特征在于，包括：步骤一：使用Centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码
‑
解码骨干网进行特征值的提取；步骤二：使用估计的深度对目标进行三维感兴趣区域划分，再将检测任务分为近景检测和远景检测。2.根据权利要求1所述的三维目标检测方法，其特征在于，所述步骤一具体为：以I作为输入图像，使用Centernet生成关于中心点的热图对于检测到的每个中心点，Centernet预测局部的偏移量，用来补偿全卷积的编码
‑
解码骨干网中由于降采样而导致的离散化误差，Centernet对目标的2D尺寸、三维尺寸、目标深度和旋转角进行回归。3.根据权利要求2所述的三维目标检测方法，其特征在于，在所述热图中，Y
x，y，c
＝1代表点(x，y)为类型C下的关键点，Y
x，y，c
＝0代表点(x，y)为类型c下的背景点，在训练关键点检测网络时，对于真值p进行降采样得通过构建高斯核函数将真值投影在热图上，并通过σ对目标2D检测框的大小进行自适应，其中，高斯核函数的公式如下：训练的目标函数公式如下：所述2D尺寸、三维尺寸、目标深度和旋转角由主检测头进行回归，每个主检测头由一个3
×
3的卷积层和一个1
×
1的卷积层构成，其中3
×
3的卷积层作为输入，1
×
1的卷积层作为输出。4.根据权利要求1所述的三维目标检测方法，其特征在于，所述步骤二中，对于近景检测任务，使用视锥体内的RGB
‑
D数据构建关于目标的特征，并利用2D检测带来的语义信息作为先验信息，对于远景检测任务，使用视觉结合毫米波雷达的方法，在视觉检测的基础上充分利用毫米波雷达的非视觉特征为图像创建互补特征。5.根据权利要求4所述的三维目标检测方法，其特征在于，所述近景检测任务具体包括：步骤S1：首先对坐标轴进行沿y轴的旋转，使得旋转后的z轴穿过中心点热图中的峰值在y轴上的投影，然后通过构建旋转矩阵R
y
(θ
Δy
)将全局坐标转化为局部坐标；步骤S2：在视锥体中对点云数据进行分割；首先将转换为局部坐标的点云数据输入到共享的多个感知机中进行升维处理，将点云数据中的每个点都升为1024维的特征向量，通过大池化层在保持点云无序性的前提下得到关于点云数据的全局特征,然后将全局特征和每一个点相连接并加入K维的one
‑
hot vecter来保证分割网络充分利用2D检测带来的先验信息，通过相同的共享感知机来生成n
×
1的向量来对点云数据进行分割，最后利用局部坐标y轴上与分割后的点云质心最近的点初步的回归目标的中心。6.根据权利要求5所述的三维目标检测方法，其特征在于，在所述步骤S2中，为了准确
的对目标中心进行回归，利用Centernet回归到的二维目标中心与深度值之间的关系对空间变换网络进行降维处理，具体公式下：其中，d为由于空间变换网络回归的为初步目标中心深度和实际目标中心深度值之间的差值；在训练时构建基于残差的损失函数：L
box
＝C
box
‑
C
mask
‑
ΔC
T
‑
Net
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，C
box
表示预测...

【专利技术属性】
技术研发人员：方介泼，薛俊，刘仪婷，肖昊，李兴通，钱星铭，陶重犇，
申请(专利权)人：苏州科技大学，
类型：发明
国别省市：