一种基于相机的目标检测与跟踪方法及系统技术方案

本发明专利技术公开了一种基于相机的目标检测与跟踪方法，具体如下：基于相机采集的实际交通场景图片和自动驾驶数据集相关图片，将其相关信息输入主干特征网络进行特征提取，初步得到图像相关特征信息；基于注意力机制，选择性的提取目标检测所需要的图像通道间的位置信息和深层语义信息，抑制无效信息；将基于主干特征提取网络和注意力机制提取出的图像特征信息输入多尺度特征融合网络进行特征融合，得到所需的深层图像信息；基于网络事先设定好的先验框，对所得预测框进行非极大值抑制后输出检测框，得到目标检测结果；我们保留所有检测框并在每个检测框之间关联，从而减少丢失的检测并保持轨迹的持久性，降低了模型对真阳性的漏检风险。检风险。检风险。

【技术实现步骤摘要】
一种基于相机的目标检测与跟踪方法及系统


[0001]本专利技术属于自动驾驶环境感知
，更具体地，本专利技术涉及一种基于相机的目标检测与跟踪方法及系统。

技术介绍

[0002]目标检测与跟踪方法是建立自动驾驶感知系统的关键。传统的目标检测算法通常依赖于具体的应用场景和人工设计的特征，泛化能力差。随着近年来卷积神经网络在计算机视觉领域的广泛应用，基于卷积神经网络的目标检测取得了优异的性能。
[0003]目前，现有的基于相机图像的目标检测方法，通常利用卷积神经网络对相机图像进行位置信息和语义信息提取，得到目标检测所需要的种类、位置以及置信度信息，进而得到目标检测结果。但是传统的卷积神经网络通常需要对所得图像进行大量训练，使用大量参数才能够达到令人满意的精度，在自动驾驶实际应用场景中检测目标的速度与位置会发生变化，导致基于相机的目标检测准确度较低。

技术实现思路

[0004]本专利技术的目的在于提供一种基于相机的目标检测与跟踪方法，旨在改善上述问题。
[0005]本专利技术是这样实现的，一种基于相机的目标检测与跟踪方法，所述方法具体包括如下步骤：
[0006]S1、基于相机采集的实际交通场景图片和自动驾驶数据集相关图片，将其相关信息输入主干特征网络进行特征提取，初步得到图像相关特征信息；
[0007]S2、基于注意力机制，选择性的提取目标检测所需要的图像通道间的位置信息和深层语义信息，抑制无效信息；
[0008]S3、将基于主干特征提取网络和注意力机制提取出的图像特征信息输入多尺度特征融合网络进行特征融合，得到所需的深层图像信息；
[0009]S4、基于网络事先设定好的先验框，对所得预测框进行非极大值抑制后输出检测框，得到目标检测结果；
[0010]S5、依据检测框对相关目标进行关联，进行稳定跟踪，进一步提高目标检测的可靠性。
[0011]进一步的，初步得到图像相关特征信息具体方法如下
[0012]S11、将相机当前采集的包含实际交通场景中常见的目标的图片和已有的公开自动驾驶数据集图片相结合，组成一个符合所在地实际路况的新数据集；
[0013]S12、将当前的新数据集按照一定比例进行训练集、测试集、验证集的划分，使用Labelimg对数据集图像进行标签标定，得到轻量化主干特征提取网络所需的xml数据标签格式；
[0014]S13、将数据集中所有训练集中的图像使用Mosaic数据增强方法，将数据集中的图
像每四张组合在一起，进行随机缩放、裁剪、排布后拼接，可以提高检测目标细节信息提取的完整性，将使用Mosaic数据增强后的图像输入主干特征提取网络Mobilenetv2中，初步进行图像特征信息提取。
[0015]进一步的，使用注意力机制选择性获取通道间位置信息和语义信息的方法具体如下：
[0016]S21、使用两种不同步长(s)的结构堆叠组成主干特征提取网络Mobilenetv2；
[0017]S22、当s＝2时，主干特征提取网络使用线性瓶颈结构提取特征，采取1
×
1点卷积升维并使用Relu6激活函数，之后使用3
×
3深度卷积，再使用Relu6激活函数，再用1
×
1点卷积降维，降维后使用Linear激活函数，这样的卷积操作方式有利于减少训练时的参数量。
[0018]S23、当s＝1时，主干特征提取网络使用反向残差结构提取特征，为了使使网络自适应调整通道间关系和位置信息，提高特征提取的指向性，将协调注意力机制嵌入3
×
3深度卷积和1
×
1降维点卷积之间，进而有效增强感兴趣对象的表示，充分提取特征信息。
[0019]进一步的，进行多尺度特征融合得到图像深层信息方法具体如下：
[0020]S31、基于主干特征提取网络和注意力机制获得的三个不同尺度的特征层分别位于中间层、中下层、底层；
[0021]S32、为了充分利用不同尺度特征图所包含的特征信息，将网络的第七层、第十四层和第十八层提取的不同尺度的特征信息输入PANet网络中分别通过上采样后进行特征拼接和下采样后进行特征拼接，分别得到了融合丰富位置信息和语义信息的两条路径，以实现特征融合，并获取丰富的特征信息。
[0022]进一步的，得到目标检测结果的过程具体如下：
[0023]S41、将充分融合的特征信息输入检测头Yolo Head中进行3
×
3卷积特征整合和1
×
1卷积调整通道数处理。网络会判断这些框内是否包含物体及其种类从而输出预测结果。
[0024]S42、对预测结果进行解码可得到预测框的中心以及尺寸，从而实现目标的定位回归。将得到的预测结果进行得分排序，取出每一类得分大于设定阈值的检测结果，利用置信度进行NMS非极大值抑制筛选后，即可得到目标检测结果。
[0025]进一步的，依据检测框对相关目标进行关联，进行稳定跟踪的过程具体如下：
[0026]S51、保留了每个检测框，并将它们分为高分和低分。我们首先将高分检测框与轨迹相关联。
[0027]S52、将低分检测框和其不匹配的轨迹关联起来，以恢复低分检测框中的对象并同时过滤掉背景。
[0028]进一步的，所述目标包括但不限于：汽车、行人及骑自行车的人。
[0029]本专利技术是这样实现的，一种基于相机的目标检测与跟踪系统，所述系统包括：
[0030]设于车辆上的单目相机及与单目相机通讯连接处理单元，处理单元内集成有训练好的Mobilenetv2
‑
CA网络模型；
[0031]单目相机实时采集前方的环境图像，发送至处理单元；
[0032]处理单元基于上述基于相机的目标检测与跟踪方法来提取前方的目标。
[0033]与现有技术相比，本专利技术的有益效果：
[0034](1)充分利用2D检测器提取的图像信息，不仅使用目标图像的浅层位置信息，还使用了深层的语义信息；
[0035](2)在数据输入端使用注意力机制丰富原始图像所能提取的不同通道间的位置信息和语义信息，提高Mobilenetv2轻量化网络提取的信息质量，并且不增加训练成本，能够提高检测器的效率；
[0036](3)对于在实际交通场景中检测时，许多被遮挡的目标可以被正确检测却因置信度过低或包含损害跟踪性能的背景而被过滤，我们保留所有检测框并在每个检测框之间关联，从而减少丢失的检测并保持轨迹的持久性，降低了模型对真阳性的漏检风险，提升了在自动驾驶场景中目标检测准确性与跟踪稳定性。
附图说明
[0037]图1为本专利技术实施提供的基于相机的目标检测与跟踪方法流程图。
[0038]图2为本专利技术实施提供的基于相机的目标检测与跟踪系统的结构示意图。
具体实施方式
[0039]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机的目标检测与跟踪方法，其特征在于，包括如下步骤：S1、将基于相机采集的实际交通场景图片和自动驾驶数据集相关图片的信息输入主干特征网络进行特征提取，初步得到图像相关特征信息；S2、基于注意力机制，选择性的提取目标检测所需要的图像通道间的位置信息和深层语义信息，抑制无效信息；S3、将基于主干特征提取网络和注意力机制提取出的图像特征信息输入多尺度特征融合网络进行特征融合，得到所需的深层图像信息；S4、基于网络事先设定好的先验框，对所得预测框进行非极大值抑制后输出检测框，得到目标检测结果；S5、依据检测框对相关目标进行关联，进行跟踪。2.根据权利要求1所述的一种基于相机的目标检测与跟踪方法，其特征在于，所述步骤S1的具体方法如下：S11、将相机当前采集的包含实际交通场景中常见的目标的图片和已有的公开自动驾驶数据集图片相结合，组成一个符合所在地实际路况的新数据集；S12、将当前的新数据集按照一定比例进行训练集、测试集、验证集的划分，使用Labelimg对数据集图像进行标签标定，得到轻量化主干特征提取网络所需的xml数据标签格式；S13、将数据集中所有训练集中的图像使用Mosaic数据增强方法，将数据集中的图像每四张组合在一起，进行随机缩放、裁剪、排布后拼接，可以提高检测目标细节信息提取的完整性，将使用Mosaic数据增强后的图像输入主干特征提取网络Mobilenetv2中，初步进行图像特征信息提取。3.根据权利要求1所述的基于相机的目标检测与跟踪方法，其特征在于，所述步骤S2的具体方法如下：S21、使用两种不同步长的结构堆叠组成主干特征提取网络Mobilenetv2，所述步长用s表示；S22、当s＝2时，主干特征提取网络使用线性瓶颈结构提取特征，采取1
×
1点卷积升维并使用Relu6激活函数，之后使用3
×
3深度卷积，再使用Relu6激活函数，再用1
×
1点卷积降维，降维后使用Linear激活函数，这样的卷积操作方式有利于减少训练时的参数量。S23、当s＝1时，主干特征提取网络使用反向残差结构提取特征，为了使使网络自适应调整通道间关系和位置信息，提高特征提取的指向性，将协...

【专利技术属性】
技术研发人员：时培成，李龙，朱迎奥，江彤，许柳柳，高坤，周定华，海滨，高立新，周之光，沙文瀚，张荣芸，王建平，杨爱喜，王启蒙，赵夕长，王远志，武新世，潘佳伟，桑国海，徐中梁，
申请(专利权)人：安徽工程大学，
类型：发明
国别省市：