一种车载深度相机的3D目标检测方法技术

本发明专利技术涉及一种车载深度相机的3D目标检测方法，其特征在于，包括以下步骤：S1：通过深度相机采集车辆周围的视频图像；S2：对视频图像进行预处理；S3：利用训练完成的3D目标检测模型，对视频图像进行目标检测，得到待识别物；S4：获取待识别物的位置信息，并根据位置信息对待识别物进行跟踪，与现有技术相比，本发明专利技术具有兼顾检测速度、检测精度以及检测准确率等优点。优点。优点。

【技术实现步骤摘要】
一种车载深度相机的3D目标检测方法


[0001]本专利技术涉及3D目标检测领域，尤其是涉及一种车载深度相机3D目标检测方法。

技术介绍

[0002]随着机器视觉、自动驾驶等颠覆性的技术逐步发展，采用3D相机进行物体识别、行为识别和场景建模的相关应用越来越多。车载目标检测系统是当前较为常见的一种驾驶辅助系统，通过在车辆上安装视频采集设备获取目标的视频，并采用车载处理器对得到的视频进行图像目标检测，为车辆行驶提供预警，提高驾驶的安全性。目标检测主要针对道路环境下的机动车或非机动车辆、行人、动物、路障等。将深度相机应用于车载目标识别系统，能够对目标检测提供更多的信息，提高目标检测的可靠性。目前的目标检测系统大多基于深度学习的2D卷积神经网络，由于深度相机采集的图像数据是3D图像，若用2D卷积或者循环网络，则会丢失深度信息使之检测出来的结果出现误差，比如误识别或漏识别等。
[0003]为了降低误识别或漏识别的概率，可以通过额外设计一个深度卷积网络进行误识别剔除，但是这样会拖慢整个目标检测的速度，并且GPU占比较高。
[0004]综上所述，目前三维(Three Dimensions，3D)目标检测方法较难同时兼顾检测速度、检测精度以及检测准确率，有的检测精度不高，从而降低了检测系统的响应速度；有的准确率或响应速度太低，导致无法达到现实场景的检测精度需求。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种车载3D目标检测方法。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种车载深度相机的3D目标检测方法，包括以下步骤：
[0008]S1：通过深度相机采集车辆周围的视频图像；
[0009]S2：对视频图像进行预处理；
[0010]S3：利用训练完成的3D目标检测模型，对视频图像进行目标检测，得到待识别物；
[0011]S4：获取待识别物的位置信息，并根据位置信息对待识别物进行跟踪。
[0012]进一步地，所述的3D目标检测模型的训练过程包括以下步骤：
[0013]首先构建训练样本集，然后构建3D目标检测模型并利用训练样本集对3D目标检测模型进行训练。
[0014]更进一步地，所述的构建训练样本集具体包括：
[0015]首先获取深度相机采集的视频图像，提取视频图像中的起始帧图像，并标注其中的待识别物以及类别，所述的类别包括行人、机动车和非机动车；
[0016]然后以待识别物为中心，在起始帧图像上选取感兴趣区域，所述的感兴趣区域为三维区域，由预设的平面尺寸大小和预设的厚度层数确定；
[0017]然后在各类别中分别选取80％的真样本和20％空样本，形成各类别的训练样本
集，所述的真样本为至少包含一个对应类别的待识别物的起始帧图像样本，所述的空样本为无对应类别的待识别物的起始帧图像样本。
[0018]更进一步地，所述的3D目标检测模型中，编码器和解码器的侧连接为级联，且编码器聚合块中各分组之间采用不同的膨胀卷积率。
[0019]更进一步地，所述的对3D目标检测模型进行训练时，损失函数的表达式为：
[0020]Loss＝L
reg
+λL
cls
+γL
filterRPN
[0021][0022]L
filterRPN
＝αL
pos
+(1
‑
α)L
neg
[0023][0024][0025]其中，L
reg
为坐标回归损失，L
cls
为二类交叉熵函数，L
filterRPN
为二类交叉熵函数，λ为平衡因子，γ为平衡因子，S损失函数为smoothL1损失函数，为预测值，d
k
为回归的目标值，α为平衡因子，L
pos
为真样本的损失值，L
neg
为空样本的损失值，p为预测的概率值。
[0026]进一步地，所述的获取待识别物的位置信息具体包括：
[0027]采用滑窗拼接式对待识别物位置进行预测，并分别对待识别物的正视方位建立二维框图，侧视方位建立三维框图；
[0028]然后提取空间框图的轮廓交点作为关键点，并根据关键点获取位置信息。
[0029]更进一步地，所述的关键点包括待识别物的几何中心点和外形轮廓点，所述的位置信息包括待识别物的坐标信息和与当前车辆之间的距离信息，所述的距离信息为与当前车辆距离最近的关键点的距离值。
[0030]进一步地，所述的根据位置信息对待识别物进行跟踪具体包括：
[0031]根据待识别物关键点的坐标信息标变化量和当前车辆的行驶状态，判断该待识别物的运动趋势；
[0032]根据运动趋势获取该待识别物的预测路径；
[0033]将预测路径作为后续视频图像帧中目标检测的辅助信息。
[0034]更进一步地，所述的将预测路径作为后续视频图像帧中目标检测的辅助信息具体为：对后续视频图像帧中出现在预测路径上的目标，优先考虑其为对应待识别物。
[0035]与现有技术相比，本专利技术具有以下优点：
[0036]1)本专利技术构建3D目标检测模型并利用训练样本集对3D目标检测模型进行训练，选取的感兴趣区域为三维区域，由预设的平面尺寸大小和预设的厚度层数确定，同时3D目标检测模型中，编码器和解码器的侧连接为级联，且编码器聚合块中各分组之间采用不同的膨胀卷积率，可以很好地完成图像识别，对其中待识别物的位置和类型进行检测，同时能够提高检测精度和速度，可以适应不同场景、不同类别待识别物的特点，在噪音情况下仍可得到较好的效果，提高目标识别的精准性和鲁棒性，同时额外设计一个深度卷积网络进行误
识别剔除，防止拖慢整个目标检测的速度，能够保证目标检测效率；
[0037]2)本专利技术利用训练完成的3D目标检测模型，对视频图像进行目标检测得到待识别物，并在获取待识别物的位置信息，根据位置信息对待识别物进行跟踪，得到预测路径，将预测路径作为后续视频图像帧中目标检测的辅助信息，大大提高检测速度，并且在快速检测目标的同时，还具备较高的检测准确率，能够获得较好的识别效果，达到了车辆在现实场景中的使用要求。
附图说明
[0038]图1为本专利技术方法的流程示意图；
[0039]图2为3D目标检测模型的训练流程示意图。
具体实施方式
[0040]下面结合附图和具体实施例对本专利技术进行详细说明。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。
[0041]如图1所示，本专利技术提供一种车载深度相机的3D目标检测方法，包括以下步骤：
[0042]S1：通过深度相机采集车辆周围的视频图像；
[0043]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载深度相机的3D目标检测方法，其特征在于，包括以下步骤：S1：通过深度相机采集车辆周围的视频图像；S2：对视频图像进行预处理；S3：利用训练完成的3D目标检测模型，对视频图像进行目标检测，得到待识别物；S4：获取待识别物的位置信息，并根据位置信息对待识别物进行跟踪。2.根据权利要求1所述的一种车载深度相机的3D目标检测方法，其特征在于，所述的3D目标检测模型的训练过程包括以下步骤：首先构建训练样本集，然后构建3D目标检测模型并利用训练样本集对3D目标检测模型进行训练。3.根据权利要求2所述的一种车载深度相机的3D目标检测方法，其特征在于，所述的构建训练样本集具体包括：首先获取深度相机采集的视频图像，提取视频图像中的起始帧图像，并标注其中的待识别物以及类别，所述的类别包括行人、机动车和非机动车；然后以待识别物为中心，在起始帧图像上选取感兴趣区域，所述的感兴趣区域为三维区域，由预设的平面尺寸大小和预设的厚度层数确定；然后在各类别中分别选取80％的真样本和20％空样本，形成各类别的训练样本集，所述的真样本为至少包含一个对应类别的待识别物的起始帧图像样本，所述的空样本为无对应类别的待识别物的起始帧图像样本。4.根据权利要求2所述的一种车载深度相机的3D目标检测方法，其特征在于，所述的3D目标检测模型中，编码器和解码器的侧连接为级联，且编码器聚合块中各分组之间采用不同的膨胀卷积率。5.根据权利要求2所述的一种车载深度相机的3D目标检测方法，其特征在于，所述的对3D目标检测模型进行训练时，损失函数的表达式为：Loss＝L
reg
+λL
cls
+γL
filterRPN
L
filterRPN
＝αL
pos
...

【专利技术属性】
技术研发人员：李瑞娜，
申请(专利权)人：京宁新能北京科技有限公司，
类型：发明
国别省市：