一种基于改良区域回归的行人检测方法技术

本发明专利技术公开了一种基于改良区域回归的行人检测方法，包括标记训练样本；构建包括卷积特征提取、语义分割层、分类层和区域回归层的区域生成网络，利用训练样本迭代更新其参数；构建包括卷积特征提取、语义分割层和分类层的深度卷积神经网络，利用前一步获取到的多个候选区域迭代更新其参数；获取待检测行人的图像；将待检测图像输入训练好的区域生成网络，得到多个候选区域及每个候选区域p被预测为行人和背景的置信度评分；将前一步得到的多个候选区域，选择前Ntop个输入训练好的深度卷积神经网络，得到每个候选区域q被预测为行人和背景的置信度评分；融合前两步的结果，得到候选区域q被预测为行人的概率。该方法通过融合多网络输出，能够提供端到端的行人检测方案。

【技术实现步骤摘要】
一种基于改良区域回归的行人检测方法
本专利技术属于计算机视觉
，具体涉及一种基于深度学习的的行人检测技术。
技术介绍
行人检测作为目标检测的一个主要分支，主要针对各种姿态的行人进行检测和识别，无论是公共场所的监控安防预警系统，还是汽车的自动驾驶技术，有非常普遍的应用场景。针对行人进行检测的各种算法和框架系统近年来也不断涌现，传统的机器学习方法利用提取图像特征如积分通道特征(ICF)、RotatedFilters和Checkerboard检测行人。此外，基于神经网络的深度学习方法也应用于行人检测中，利用卷积神经网络(CNN)可以实现端对端的行人检测，得益于GPU加速技术，深度学习逐渐成为行人检测的主流方法。目前国内外关于行人检测还存在着有待解决的问题：(1)对于依赖提取图像特征的机器学习方法而言，不仅会受到行人形状、角度和相似干扰物的影响，同时也对训练集比较敏感，容易受到错误标注的“噪声”影响。(2)多人场景下的人群互遮挡问题突出，但目前大多行人检测别算法并没有对此类遮挡情况进行特殊处理，针对此类问题的优化也较少，在公共场景和人群聚集的情况下会产生行人位置偏移或定位错误，进而影响本文档来自技高网...

【技术保护点】
1.一种基于改良区域回归的行人检测方法，其特征在于，包括如下步骤：(1)采用若干包含行人的图像作为训练样本，在训练样本图像中用矩形框标记行人，所述矩形框为标记包围盒；(2)构建区域生成网络，所述区域生成网络包括卷积特征提取、语义分割层、分类层和区域回归层；将训练样本输入所述区域生成网络中，通过最小化区域生成网络的损失函数来迭代更新区域生成网络的参数，直至区域生成网络的损失函数达到预设的收敛条件，得到训练好的区域生成网络、多个候选区域及每个候选区域被预测为行人和背景的置信度评分；所述区域生成网络的损失函数为区域生成网络中语义分割层、分类层和区域回归层损失函数的加权和；(3)构建深度卷积神经网络，...

【技术特征摘要】
1.一种基于改良区域回归的行人检测方法，其特征在于，包括如下步骤：(1)采用若干包含行人的图像作为训练样本，在训练样本图像中用矩形框标记行人，所述矩形框为标记包围盒；(2)构建区域生成网络，所述区域生成网络包括卷积特征提取、语义分割层、分类层和区域回归层；将训练样本输入所述区域生成网络中，通过最小化区域生成网络的损失函数来迭代更新区域生成网络的参数，直至区域生成网络的损失函数达到预设的收敛条件，得到训练好的区域生成网络、多个候选区域及每个候选区域被预测为行人和背景的置信度评分；所述区域生成网络的损失函数为区域生成网络中语义分割层、分类层和区域回归层损失函数的加权和；(3)构建深度卷积神经网络，所述深度卷积神经网络包括卷积特征提取、语义分割层和分类层；将步骤(2)获取到的多个候选区域，选择被预测为行人的置信度评分最高的前Ntop个作为深度卷积神经网络的输入，通过最小化深度卷积神经网络的损失函数来迭代更新深度卷积神经网络的参数，直至深度卷积神经网络的损失函数达到预设的收敛条件，得到训练好的深度卷积神经网络、Ntop个候选区域中每个候选区域被预测为行人和背景的置信度评分；所述深度卷积神经网络的损失函数为深度卷积神经网络中语义分割层和分类层损失函数的加权和；(4)获取待检测行人的图像，将其预处理，使其大小匹配区域生成网络输入图片的大小；(5)将预处理后的待检测图像输入步骤(2)训练好的区域生成网络，得到多个候选区域及每个候选区域p被预测为行人和背景的置信度评分，记为[p,rpn_score1,rpn_score0]；其中rpn_score1为区域p被预测为行人的置信度评分，rpn_score0为区域p被预测为背景的置信度评分；(6)将步骤(5)得到的多个候选区域，选择被预测为行人的置信度评分最高的前Ntop个输入步骤(3)训练好的深度卷积神经网络，进行进一步分类，得到每个候选区域q被预测为行人和背景的置信度评分，记为[q,cnn_score1,cnn_score0]；其中cnn_score1为区域q被预测为行人的置信度评分，cnn_score0为区域q被预测为背景的置信度评分；(7)融合区域候选网络和深度卷积神经网络的结果，得到候选区域q被预测为行人的概率fusionscore(q)：其中rpn_scoreq1为区域q在区域候选网络中被预测为行人的置信度评分，rpn_scoreq0为区域q在区域候选网络中被预测为背景的置信度评分；cnn_scoreq1为区域q在深度卷积神经网络中被预测为行人的置信度评分，cnn_scoreq0为区域q在深度卷积神经网络中被预测为背景的置信度评分。2.根据权利要求1所述的基于改良区域回归的行人检测方法，其特征在于，所述步骤(2)具体包括：(21)训练样本图像输入构建的区域生成网络，经过卷积特征提取生成卷积特征图；在最后一层卷积特征图上，构建一层卷积层，使用anchor机制配合卷积核窗口滑动，产生大小和比例各不相同的anchor，映射到原图对应不同的候选区域；(22)步骤(21)生成的候选区域根据与标记包围盒的重叠区域大小分成正区域样本集合P+和负区域样本集合P-；(23)区域生成网络的分类层对候选区域进行简单分类，输出每个候选区域属于行人和背景的概率作为该候选区域被预测为行人和背景的置信度评分；定义区域生成网络分类层的损失函数Lcls(p)；(24)区域生成网络的区域回归层预测出候选区域的位置及大小；定义区域生成网络区域回归层的损失...

【专利技术属性】
技术研发人员：姚莉，周威威，吴含前，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32