适于高速公路外场遮挡条件下的行人快速检测及跟踪方法技术

本发明专利技术公开了适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：步骤一：对高速公路监控视频图像进行数据重建、增强；步骤二：快速获取高级语义、更为突出且大感受野的特征，主要包括以下三个部分；步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构，主要包括以下两个部分：步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；步骤五：损失函数的设计；步骤六：轨迹跟踪预测，状态更新。本发明专利技术能有效降低因目标遮挡、目标缩小、目标丢失、目标相似、目标变换等因素造成的行人目标检测错误的情况，提高跟踪精度的同时满足实时性的要求。

【技术实现步骤摘要】
适于高速公路外场遮挡条件下的行人快速检测及跟踪方法
本专利技术涉及智能交通领域，特别涉及适于高速公路外场遮挡条件下的行人快速检测及跟踪方法。
技术介绍
目前，行人目标检测技术在智能驾驶、智能监控、智能机器人等领域都有广泛的应用。高速公路环境下，应用行人检测技术并自动预警，可以有效地减少高速公路行人事故从而提高高速公路运营安全。但是由于该领域涉及众多学科，并且研究对象复杂，即使经过多年发展，到目前为止仍有大量难题亟待解决。尤其在实际应用到高速公路环境中时，由于行人目标尺寸的多样性、环境复杂多变等因素导致行人多为模糊或被遮挡的小目标，针对该类问题一直都是研究的难点，现有的许多技术和方案还不够完善，远远达不到实用的程度。本文针对上述问题开展研究工作，以提高基于监控视频的行人目标检测和跟踪结果的准确性。
技术实现思路
有鉴于此，在高速公路外场环境下进行行人目标匹配时必须考虑行人遮挡和非目标相似的问题，本专利技术将在行人目标检测的基础上实现行人跟踪。首先通过深度学习的SSD算法，检测到视频图像上的行人目标，检测的精度决定了行人目标跟踪的性能，本专利技术的目的是提供适于高速公路外场遮挡条件下的行人快速检测及跟踪方法。本专利技术的目的是通过以下技术方案来实现的：适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：步骤一：对高速公路监控视频图像进行数据重建、增强；步骤二：快速获取高级语义、更为突出且大感受野的特征f；步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构：步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；步骤五：损失函数的设计；步骤六：轨迹跟踪预测，状态更新。进一步，所述步骤一具体包括以下子步骤：1)从训练图像中，进行K-Means聚类，统计行人分布区域；2)对图像进行随机裁剪一块区域，但需要保证裁剪区域存在目标，且不同裁剪图片重叠区域；3)将扩充图片缩放到输入分辨率大小。进一步，所述步骤二具体包括以下子步骤：1)采用DenseNet骨干网络，选取特征最为丰富和语义信息相对高级Layers构建CSP特征提纯结构；2)采用改进注意力机制提取通道域特征，使用k＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作，获得编码丰富细节信息的特征f。进一步，所述步骤三具体包括以下子步骤：1)特征金字塔中分辨率高于f的特征，利用最近邻上采样扩大f的分辨率，再使用1×1卷积进行提纯；2)特征金字塔中分辨率小于和等于f的特征，直接对f利用指定步长的3×3卷积来获得；3)up-scale阶段以步长32,16,8,4像素在特征图上迭代增强；4)down-scale阶段输入的是由up-scale增强生成的特征金字塔，增强的步长从4到32。进一步，所述步骤四具体包括以下子步骤：1)根据不同卷积层对人体部件的检测敏感度不同，选取6个layers的输出融合到检测层，最后构建3×2的部件置信框；2)根据数据集行人分布情况，统计出各部件的概率，构建以部件图为基础的概率分布图。进一步，所述步骤五具体包括以下子步骤：1)在Anchor生成部分，考虑到正负样本处于极不平衡状态，因此采用FocalLoss来计算Anchor位置损失Lloc；2)对Anchor的预测包括分类和回归两部分，分类Lcls采用基于Softmax的交叉熵损失函数，回归Lreg采用CIOU_Loss损失函数；3)对于DeepSorts构建的部件框，采用根据步骤四统计的概率函数Lbody；4)在Anchor生成部分，仅考虑宽高，利用DIOU_Loss计算Anchor形状分支的损失Lshape5)整个网络的损失函数包括上述五个部分，且Anchor生成部分和网络预测部分的Loss利用λ参数进行平衡，即Loss＝Lcls+Lreg+λ(Lloc+Lshape+Lbody)，式中，λ代表两部分损失的加权系数。进一步，所述步骤六具体包括以下子步骤：1)构建基于LSTM的像素级异常检测，形成一种对于行人背景响应强烈的掩膜(mask)；2)使用deepsort跟踪器，经过上述掩膜过滤后的特征，采用以检测为中心的跟踪方式，将异常检测分为两类：异常出现和异常消失；针对异常出现情况，采用以检测为主的跟踪矫正方式；针对异常消失的情况，采用以跟踪预测的方式，模拟轨迹。由于采用了上述技术方案，本专利技术具有如下的有益效果：本专利技术从高速公路外场实际环境出发，在行人目标检测的基础上，融合了局部和整体特征、概率分布特征和轨迹特征，并引入注意力机制和跟踪的方法，提出一种适于高速公路外场环境特性的行人目标跟踪方法。该方法能有效降低因目标遮挡、目标缩小、目标丢失、目标相似、目标变换等因素造成的行人目标检测错误的情况，提高跟踪精度的同时满足实时性的要求。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明本专利技术的附图说明如下。图1为本专利技术总体流程图；图2为本专利技术的装置结构示意图。具体实施方式为使本专利技术的技术方案、优点和目的更加清楚，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请的保护范围。下面结合附图和实施例对本专利技术作进一步说明。实施例1如图1-2所示，本实施例提供的适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：步骤一：数据准备工作，对高速公路监控视频图像进行数据重建、增强，主要包括以下3个部分；1)将标注的行人标注框的高和宽高比以及坐标信息数据作为样本集输入到K-means中进行聚类处理，得到标注框的高宽比以及位置分布情况的聚类结果，根据高宽比将数据集划分为Large、Medium、Small三类，根据行人分布区域，确立裁剪的图片大小以及裁剪的大致区域。2)根据上述步骤统计的分布区域，随机确立中心点，然后向左右上下分别扩张，从而确立基本的裁剪区域900*600。按照下式计算裁剪区域和所有目标框的交并比IoU：其中,area表示框的面积，∩代表两个框的交集部分，∪代表两个框的并集部分。若IoU最小值小于设定的指定阈值(如0.15)，表明裁剪区域与所有目标的重合度均超过指定阈值。若目标超过5000个，重新确立裁剪区域。若不满足上述条件，重复裁剪50次，若仍不满足则直接输出本文档来自技高网...

【技术保护点】
1.适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，其特征在于，包括以下步骤：/n步骤一：对高速公路监控视频图像进行数据重建、增强；/n步骤二：快速获取高级语义、更为突出且大感受野的特征f；/n步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构；/n步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；/n步骤五：损失函数的设计；/n步骤六：轨迹跟踪预测，状态更新。/n

【技术特征摘要】
1.适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，其特征在于，包括以下步骤：
步骤一：对高速公路监控视频图像进行数据重建、增强；
步骤二：快速获取高级语义、更为突出且大感受野的特征f；
步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构；
步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；
步骤五：损失函数的设计；
步骤六：轨迹跟踪预测，状态更新。


2.根据权利要求1所述的方法，其特征在于，所述步骤一具体包括以下子步骤：
1)从训练图像中，进行K-Means聚类，统计行人分布区域；
2)对图像进行随机裁剪一块区域，但需要保证裁剪区域存在目标，且不同裁剪图片重叠区域；
3)将扩充图片缩放到输入分辨率大小。


3.根据权利要求2所述的方法，其特征在于，所述步骤二具体包括以下子步骤：
1)采用DenseNet骨干网络，选取特征最为丰富和语义信息相对高级Layers构建CSP特征提纯结构；
2)采用改进注意力机制提取通道域特征，使用k＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作，获得编码丰富细节信息的特征f。


4.根据权利要求3所述的方法，其特征在于，所述步骤三具体包括以下子步骤：
1)特征金字塔中分辨率高于f的特征，利用最近邻上采样扩大f的分辨率，再使用1×1卷积进行提纯；
2)特征金字塔中分辨率小于和等于f的特征，直接对f利用指定步长的3×3卷积来获得；
3)up-scale阶段以步长32,16,8,4像素在特征图上迭代增强；
4)down-scale阶段输入的是由up-scale增强生成...

【专利技术属性】
技术研发人员：赵敏，孙棣华，唐泓，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50