一种基于深度搜索匹配的行人检测方法及系统技术方案

本发明专利技术公开了一种基于深度搜索匹配的行人检测方法及系统，该方法包括：基于区域生成网络对原始图像生成目标候选框；计算每一个目标候选框与原始图像中真实存在行人目标的每一个真值框的匹配损失：利用匹配损失，通过搜索匹配算法依次为每一个真值框匹配一定数量的目标候选框；将原始图像中已匹配的目标候选框经过区域池化层得到相应的特征；对特征计算分类得分及回归位置，得到最终的检测结果，即为原始图像中需要检测的行人目标。该系统包括：区域生成网络模块、深度损失估计模块、搜索匹配模块、区域池化模块及分类回归模块。通过本发明专利技术，更适用于现实复杂多变的环境，有效提高了当前行人检测器的检测能力。

【技术实现步骤摘要】
一种基于深度搜索匹配的行人检测方法及系统
本专利技术涉及目标检测
，特别涉及一种基于深度搜索匹配的行人检测方法及系统。
技术介绍
大数据时代的到来，推动着计算机技术的不断更新和发展，行人检测技术作为计算机视觉领域的研究热点在智能视频监控、智能交通等领域表现出了重要的应用价值。现有的行人检测算法，因为尚存如下困难和挑战，检测结果还有待提升：由于拍摄距离原因，图像较大但目标行人尺寸较小，通过深度学习卷积神经网络降缩之后目标区域的特征很少，难以进行有效的检测识别；由于拍摄角度的固定性，行人的身体会出现部分遮挡问题，在检测过程中有用的信息相对减少，从而导致漏检的发生。目前，较为成熟的行人检测方法基本可以分为两类：(1)基于背景建模。该方法主要用于视频中检测运动目标：即将输入的静态图像进行场景分割，利用混合高斯模型(GMM)或运动检测等方法，分割出其前景与背景，再在前景中提取特定运动目标。这类方法需要连续的图像序列来实现建模，不适合于单幅图像中的目标检测。(2)基于统计学习。即将所有已知属于行人目标的图像收集起来形成训练集，基于一个人工设计的算法(如HOG、Harr等)对训练集图像提取特征。提取的特征一般为目标的灰度、纹理、梯度直方图、边缘等信息。继而根据大量的训练样本的特征库来构建行人检测分类器。分类器一般可用SVM，Adaboost及神经网络等模型。综合而言近年来基于统计学习的目标检测算法表现较优，基于统计学习的目标检测算法可以分为传统人工特征目标检测算法以及深度特征机器学习目标检测算法。传统人工特征目标检测算法主要是指其利用人工设计的特征，来进行目标检测的建模。近年来表现优秀的人工设计的特征算法主要包括：2010年PedroF.Felzenszwalb等提出的DPM(DeformablePartModel)算法(Objectdetectionwithdiscriminativelytrainedpart-basedmodels)。PiotrDollár等2009年提出的ICF(IntegralChannelFeatures)、2014年提出的ACF算法(FastFeaturePyramidsforObjectDetection)。2014年ShanshanZhang等提出的InformedHarr方法(InformedHaar-likeFeaturesImprovePedestrianDetection)，致力于提取更加具有表征信息的Harr特征来进行训练。这些人工设计的特征虽然取得了一定的效果，但因为人工特征表征能力不足，仍存在检测精度不高问题。由于深度卷积神经网络模型所具有的更强大的特征学习与表达能力，在行人检测方面得到越来越广泛和成功的应用。基础的行人检测算子是R-CNN(Region-ConvolutionalNeuralNetwork)模型。2014年,Girshick等人提出RCNN用于通用目标的检测,之后又是提出了FastRCNN和FasterRCNN,提高了基于深度学习目标检测算法的精度和速度.2016年提出的Yolo和SSD等算法,则通过Anchor等思想实现单一阶段的快速目标检测。这些基于深度学习技术的目标检测，大都是使用从整个候选框提取的特征进行分类回归，仍然存在深度特征提取不充分的问题，尤其是针对行人中的遮挡目标以及小尺寸目标，一方面由于遮挡目标身体部分部位的不可见性，视觉特征有限；另一方面是因为深度卷积神经网络层层的尺寸降缩，特征尺寸更小；这两方面的因素导致行人目标的检测精度不高、漏检率需要进一步降低。2018年，ShanshanZhang等提出的partattention方法(OccludedPedestrianDetectionThroughGuidedAttentioninCNNs)，致力于提取更加具有表征信息的身体部位特征来进行训练。但是仍然存在一些问题，一方面是这种方法依然使用的是整个目标候选框的特征，没有充分提取身体部位特征，此外，过于注重身体部位特征或过于注重整个候选框的特征，导致网络在全局与局部之间的失衡，所以检测器没有很好的泛化性能；另一方面，利用一个部位检测器来提取身体部位特征，会引入额外标注的身体部位信息，造成成本的增加。
技术实现思路
本专利技术针对上述现有技术中存在的问题，提出一种基于深度搜索匹配的行人检测方法及系统，有效缓解了行人检测框架匹配过程中的不一致问题，有利于训练更鲁棒更精准的行人检测器，尤其降低了遮挡情况下行人检测误检率，因此更适用于现实复杂多变的环境，有效提高了当前行人检测器的检测能力。本专利技术第一方面，提供一种基于深度搜索匹配的行人检测方法，其包括：S11：基于区域生成网络对原始图像生成目标候选框；S12：计算每一个目标候选框与所述原始图像中真实存在行人目标的每一个真值框的匹配损失：S13：利用所述匹配损失，通过搜索匹配算法依次为每一个真值框匹配一定数量的目标候选框；S14：将原始图像中已匹配的目标候选框经过区域池化(RoIPooling)层得到相应的特征；S15：根据所述S14获得的特征计算分类得分及回归位置，得到最终的检测结果，即为原始图像中需要检测的行人目标。较佳地，所述S12中计算匹配损失函数的深度损失估计函数为：其中，bi表示第i个目标候选框，i＝1,2,3…N,gj表示第j个真值框，j＝12,3,..M，表示用于计算目标候选框bi与真值框gj的搜索距离的函数，表示用于计算目标候选框bi与真值框gj的搜索深度的函数。较佳地，所述搜索距离的函数为曼哈顿距离，具体为：其中，(xi,yi)表示目标候选框bi的中心点坐标，(xj,yj)表示真值框gj的中心点坐标。较佳地，所述搜索深度的函数为：其中V＝{vk(bi,gj)|k＝1,2,3,…T}，vk表示目标候选框bi与真值框gj匹配的第k条曼哈顿路径的深度变化和；集合V的元素个数为T，表示目标候选框bi与真值框gj中存在T条曼哈顿路径；进一步地，所述第k条曼哈顿路径的深度变化和vk(bi,gj)为沿此路径下前后坐标点的深度差值，具体为：其中，表示从目标候选框bi到真值框gj的路径中第q个坐标点，q为大于等于1的整数；更具体地，表示路径起始点坐标，即目标候选框bi的中心点；表示路径终点坐标，即真值框gj的中心点；表示第q个坐标点位置的深度值，更具体地，该值通过深度估计网络计算得出。较佳地，所述S15中根据所述S14获得的特征计算分类得分及回归位置之后还包括：将所述匹配损失的损失、搜索匹配算法的损失以及分类得分及回归位置的损失进行加权求和以及反向传播，构造端到端的训练网络。本专利技术第二方面，提供一种基于深度搜索匹配的行人检测系统，其包括：区域生成网络模块、深度损失估计模块、搜索匹配模块、区域池化模块以及分类回归模块；其中，所述区域生成网络模块用于基于区域生成网络对原始图像生成目标候选框；所述深度损失估计模块用于本文档来自技高网...

【技术保护点】
1.一种基于深度搜索匹配的行人检测方法，其特征在于，包括：/nS11：基于区域生成网络对原始图像生成目标候选框；/nS12：计算每一个目标候选框与所述原始图像中真实存在行人目标的每一个真值框的匹配损失：/nS13：利用所述匹配损失，通过搜索匹配算法依次为每一个真值框匹配一定数量的目标候选框；/nS14：将原始图像中已匹配的目标候选框经过区域池化层得到相应的特征；/nS15：根据所述S14获得的特征计算分类得分及回归位置，得到最终的检测结果，即为原始图像中需要检测的行人目标。/n

【技术特征摘要】
1.一种基于深度搜索匹配的行人检测方法，其特征在于，包括：
S11：基于区域生成网络对原始图像生成目标候选框；
S12：计算每一个目标候选框与所述原始图像中真实存在行人目标的每一个真值框的匹配损失：
S13：利用所述匹配损失，通过搜索匹配算法依次为每一个真值框匹配一定数量的目标候选框；
S14：将原始图像中已匹配的目标候选框经过区域池化层得到相应的特征；
S15：根据所述S14获得的特征计算分类得分及回归位置，得到最终的检测结果，即为原始图像中需要检测的行人目标。


2.根据权利要求1所述的基于深度搜索匹配的行人检测方法，其特征在于，所述S12,利用深度损失估计函数计算每一个目标候选框与所述原始图像中真实存在行人目标的每一个真值框的匹配损失,其中，深度损失估计函数lmat(bi,gj)为：



其中，bi表示第i个目标候选框，i＝1,2,3…N,gj表示第j个真值框，j＝12,3,..M，表示用于计算目标候选框bi与真值框gj的搜索距离的函数，表示用于计算目标候选框bi与真值框gj的搜索深度的函数。


3.根据权利要求2所述的基于深度搜索匹配的行人检测方法，其特征在于，所述搜索距离的函数为曼哈顿距离具体为：



其中，(xi,yi)表示目标候选框bi的中心点坐标，(xj,yj)表示真值框gj的中心点坐标。


4.根据权利要求2所述的基于深度搜索匹配的行人检测方法，其特征在于，所述搜索深度的函数为：



其中V＝{vk(bi,gj)|k＝1,2,3,…T}，vk表示目标候选框bi与真值框gj匹配的第k条曼哈顿路径的深度变化和；集合V的元素个数为T，表示目标候选框bi与真值框gj中存在T条曼哈顿路径。


5.根据权利要求4所述的基于深度搜索匹配的行人检测方法，其特征在于，所述第k条曼哈顿路径的深度变化和vk(bi,gj)为沿此路径下前后坐标点的深度差值，具体为：



其中，表示从目标候选框bi到真值框gj的路径中第q个坐标点，q为大于等于1的整数，其中，表示路径起始点坐标，即目标候选框bi的中心点；表示路径终点坐标，即真值框gj的中心点；表示第q个坐标点位置的深度值。


6.根据权利要求1所述的基于深度搜索匹配的行人检测方法，其特征在于，所述S15中根据所述S14获得的特征计算分类得分及回归位置之后还包括：将所述匹配损失的损失、搜索匹配算法的损失以及分类得分及回归位置的损失进行加权求和以及反向传播，构造端到端的训练网络。


7.一种基于深度搜索匹配的行人检测系统...

【专利技术属性】
技术研发人员：张重阳，罗艳，孙军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31