一种行人检测方法技术

本发明专利技术公开了一种行人检测方法，通过基于卷积神经网络的行人检测方法，对输入图像进行多次卷积和池化，提取原图特征，得到原图对应的特征图，通过图像特征金字塔规则近似计算出原图缩放后对应的特征图，分别经过区域建议网络RPN生成候选窗口，按候选窗口内行人尺寸分布进一步选择候选提议窗口并汇总，利用带标签的训练数据训练出不同尺度的行人目标在不同规模图像上对应的权重，训练分类器网络。求得汇总后的候选窗口经过分类器后得到的置信度与设定的阈值相比做出最终的行人检测的判断。图像特征金字塔的应用避免了图像缩放计算得到特征图的繁重计算量，并且利用不同权值加权的方式在不同特征图上检测有效避免了单一特征图检测的误判和漏检。

【技术实现步骤摘要】
一种行人检测方法
本专利技术涉及一种行人检测方法，属于目标检测领域。
技术介绍
近年来，行人检测技术在智能监控、自动驾驶、机器人视觉等方面具有广泛的应用。实际应用中行人的着装，姿态尤其是视频中捕捉到的行人尺寸多变使得行人检测面临极大的挑战性。行人检测主要有两大方式：一种是基于滑动窗口的传统的行人检测方法，一种是基于深度学习提取特征的行人检测方法。传统的行人检测方法计算量大且没有利用GPU资源检测速度受限，由于计算机性能不断增强并且利用了GPU计算能力，大多基于学习特征的深度学习方法检测速度优于传统方法，但是往往难以解决行人的多尺度问题。
技术实现思路
为了解决行人检测过程中速度和检测精度难以权衡以及行人的多尺度问题，本专利技术提供一种行人检测方法，包括步骤：步骤(1)确定当前帧图像：将测试集中的一张图片作为当前帧图像或者视频序列中待处理的帧图像作为当前帧图像；步骤(2)求得特征图：将当前帧图像通过多个卷积层和池化层，通过最后一个卷积层得到一个(featuremap)特征图；步骤(3)特征图扩展：通过图像特征金字塔规则计算图像临近尺度对应的特征图，依次扩展N个小尺度扩展特征图和N个大尺度扩展扩展特征图，扩展次数N和扩展倍数不设限，一共得到2N+1个特征图；步骤(4)提议窗口分配：特征图经过区域建议网络RPN(regionproposalnetwork)生成候选窗口,根据行人尺寸分布进一步选择候选窗口；步骤(5)分类网络训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；步骤(6)行人检测标注：将得到的三种规模特征图的提议窗口数目按比例汇总，经过步骤(5)中训练好的分类器分类，经过非极大值抑制后框出行人。进一步的，步骤(1)具体为：将测试集中的一张图片作为当前帧图像或者视频序列中待处理的帧图像作为当前帧图像，记做I1。进一步的，步骤(2)具体为：将当前帧图像通过多个卷积层和池化层，这里卷积层和池化层交叉进行并且层数不设限，通过最后一个卷积层得到一个特征图(featuremap)，记做f1。进一步的，步骤(3)具体为：通过图像幂率规则和图像特征金字塔规则计算图像I1临近规模对应的特征图，一般利用fm＝Cp(S(I1,M))，式中I1代表原图像，M代表缩放规模，S代表将原图缩放，Cp代表卷积池化操作计算特征。现在为减少卷积运算提高运行速度，利用公式：其中参数m表示当前规模，m’表示缩放后规模，S代表将特征图缩放m'/m倍，f表示特征，常系数α可以在训练集上通过实验测得，以上公式表明原图Im通过卷积池化操作计算特征，临近缩放规模图像特征由已知特征图变化得到，将得到的特征图计算出原图α倍大小和β倍大小的图片对应的特征图，如1/2*I1和2*I1(此处扩展的图片规模和扩展次数不设限，考虑检测速度和表述方便选取这两个尺度)，因为金字塔规则每次临近计算倍，特征图要迭代计算四次，对应特征图为f1/2，因为图像上采样没有高频损失，上采样图片的信息内容与低分辨率的内容相似，特征计算公式为：fσ＝σ*S(f1,σ))(2.2)式中f1代表原图对应特征图，S代表将特征图f1放大σ倍，fσ为上采样图像。进一步的，步骤(4)具体为：因为RPN有单一的感受野，在缩小规模的图像对应特征图上倾向于检测大目标，在放大规模的图像对应特征图上倾向于检测小目标，我们将图像中行人目标分为三个尺度，我们在有多尺度行人的KITTI数据集上实验，将数据集中的行人按照高度height不同设置为height<H1,H1≤height<H2,...,Hn-1≤height<Hn,height≥Hn,这里H1到Hn是由小大的像素点个数，对应不同尺度的行人数目分别为A1,A2,...,An。然后在每一张特征图上对每个尺度的行人候选框按特征图中候选框比例分布选取T个，依次选取Tuv个，式中Tuv是最终需要提取的第u张特征图上第v个规模尺度行人的个数，Zu是第u张特征图上最终需要提取的候选窗口的总和,Zu(1≤n≤2N+1)根据数据集情况而定，每张特征图上可以选取同样数目也可以提取不同数目)，式中Auv表示第u张特征图上第v个规模尺度行人的个数。因为提议窗口网络有单一的感受野(输出特征图上某个节点的响应对应的输入图像的区域)，在缩小规模的图像对应特征图上倾向于检测大目标，在放大规模的图像对应特征图上倾向于检测小目标，这样根据不同尺度目标的比例提取候选窗口有利于发挥网络在不同特征图上的检测优势。进一步的，步骤(5)具体为：1)选择在有多种行人尺度的KITTI数据集上实验，我们在训练数据集上将行人按高度分为X个尺寸的行人(此处尺寸级数不设限)；2)利用卷积层特征共享训练RPN(regionproposalnetwork)网络和softmax分类器联合网络,采用交叉轮流训练的方式，先训练RPN区域建议网络，再用候选窗口训练基于区域的分类器网络，再用分类器网络训练RPN区域建议网络。损失层(losslayer)是卷积神经网络(CNN)的终点，接受两个值作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则通过预测值和标签值进行一系列运算，得到当前网络的损失函数(LossFunction)，一般记做L(W)，其中W是当前网络权值构成的向量空间。训练网络的目的是在权值空间中找到让损失函数L(W)最小的权值W(opt)，可以采用随机梯度下降(stochasticgradientdescent)的最优化方法逼近权值W(opt)，网络中有两个损失函数，一个是分类损失函数一个是回归损失函数；3)因为步骤(3)结构的改变，损失函数要进行相应的优化，要训练优化的参数为W，设其中Mi是训练是采样到的感兴趣图像块，N是训练样本的总数，yi∈(0,1)是Mi的类标签，Bi＝(m'/m)*(bix,biy,biw,bih)是特征图对应的边界框坐标，其中bix,biy,biw,bih分别代表原图上图像块的坐标，(m'/m)是缩放尺寸在步骤(3)中解释；4)这样多任务损失函数为：其中n是目标大小的规模级数，Ex是每个规模对应的数据样本，Mi是训练集采样到的感兴趣图像块，A1,A2,...,An分别代表n种尺度的行人的数量，l是分类和回归的联合损失函数，定义为：l(M,(y,B)|W)＝Lcls(p(M),y)+β[y≥1]Lloc(Ty,B)(2.5)其中β是权衡系数，Ty是类y的预测边框位置，[y≥1]表示只有在正本时才存在回归损失，Lclc和Lloc分别是交叉熵损失和边界回归损失，定义为：式中py(M)＝p0(M)+p1(M)，y∈(0,1)是M的类标签，Tiy＝(tix,tiy,tiw,tih,)是预测边框位置，Bi＝(m'/m)*(bix,biy,biw,bih)是特征图对应的边界框坐标。5)由于4)中预测概率p和预测标签T都分别有经过proposal后的特征向量和各自权值向量相乘得到，所以由以上公式可根据预测值和标签不断调整分类和回归过程中的联合参数，使损失函数L(W)最小从而得到联合最优参数W(wcls,wloc)，即式中L(W)即多任务损失函数，φ是正则化参数。进一步的，步骤(6)具体为：将步骤(4)中的提议窗口汇总成J个，经过本文档来自技高网...

【技术保护点】
一种行人检测方法，其特征在于包括以下步骤：步骤(1)确定当前帧图像：将测试集中的一张图片作为当前帧图像或者视频序列中待处理的帧图像作为当前帧图像，记做I1；步骤(2)计算特征图：将当前帧图像通过多个卷积层和池化层，这里卷积层和池化层交叉进行并且层数不设限，通过最后一个卷积层后得到一个特征图(feature map)，记做f1；步骤(3)特征图扩展：通过图像特征金字塔规则计算图像临近尺度对应的特征图，依次扩展N个小尺度扩展特征图和N个大尺度扩展扩展特征图，扩展次数N和扩展倍数不设限，一共得到2N+1个特征图；步骤(4)候选窗口提取：特征图经过区域建议网络RPN(region proposal network)生成候选窗口，根据行人尺寸分布进一步选择候选窗口；步骤(5)分类器的训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；步骤(6)行人检测输出：将得到的多规模特征图的候选窗口汇总，经过训练好的分类器分类，经过非极大值抑制后框出行人。

【技术特征摘要】
1.一种行人检测方法，其特征在于包括以下步骤：步骤(1)确定当前帧图像：将测试集中的一张图片作为当前帧图像或者视频序列中待处理的帧图像作为当前帧图像，记做I1；步骤(2)计算特征图：将当前帧图像通过多个卷积层和池化层，这里卷积层和池化层交叉进行并且层数不设限，通过最后一个卷积层后得到一个特征图(featuremap)，记做f1；步骤(3)特征图扩展：通过图像特征金字塔规则计算图像临近尺度对应的特征图，依次扩展N个小尺度扩展特征图和N个大尺度扩展扩展特征图，扩展次数N和扩展倍数不设限，一共得到2N+1个特征图；步骤(4)候选窗口提取：特征图经过区域建议网络RPN(regionproposalnetwork)生成候选窗口，根据行人尺寸分布进一步选择候选窗口；步骤(5)分类器的训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；步骤(6)行人检测输出：将得到的多规模特征图的候选窗口汇总，经过训练好的分类器分类，经过非极大值抑制后框出行人。2.如权利要求1所述的行人检测方法，其特征在于：步骤(3)具体为：计算图像I1临近规模对应的特征图，一般利用fm＝Cp(S(I1,M))，式中I1代表原图像，M代表缩放规模，S代表将图像缩放，Cp代表卷积池化操作计算特征，为减少卷积运算提高计算速度，通过图像图像特征金字塔规则计算临近规模图像对应的特征图，计算公式是：其中参数m表示当前规模，m'表示缩放后的规模，S代表将特征图缩放m'/m倍，f表示特征，常系数α可以在训练集上通过实验测得，以上公式表明原图Im通过卷积池化操作得到特征，临近缩放规模图像特征由已知特征图近似计算得到，如1/2*I1可以计算得到f1/2，因为图像上采样没有高频损失，上采样图片的信息内容与低分辨率的内容相似，特征计算公式为：fσ＝σ*S(f1,σ))(1.2)式中f1代表原图对应特征图，S代表将特征图f1放大σ倍，fσ为上采样图像。3.如权利要求1所述的行人检测方法，其特征在于：步骤(4)具体为：将特征图分别通过RPN网络生成候选提议窗口，按候选窗口中的行人按高度height将行人尺度设置为height<H1,H1≤height<H2,...,Hn-1≤height<Hn,height≥Hn,这里H1到Hn是由小大的像素点个数，对应不同尺度的行人数目分别为A1,A2,...,An；然后在每一张特征图上对每个尺度的行人候选框按特征图中候选框比例分布选取Tuv个，依次选取个数Tuv个候选窗口：式中Tuv是最终需要提取的第u张特征图上第v个规模尺度...

【专利技术属性】
技术研发人员：章东平，胡葵，王都洋，张香伟，杨力，肖刚，
申请(专利权)人：江西高创保安服务技术有限公司，
类型：发明
国别省市：江西,36