基于改进全卷积网络的多尺度感知行人检测方法技术

本发明专利技术涉及一种基于改进全卷积网络的多尺度感知行人检测方法，属于行人检测领域。首先，通过在全卷积网络结构中引进可形变卷积层，扩大特征图的感受野；其次，通过级联RPN提取多尺度行人建议区域，引入多尺度判别策略，定义尺度判别层，判别行人建议区域的尺度类别；最后构建一个多尺度感知网络，引进Soft‑NMS检测算法，融合每个网络输出的分类值和回归值，获取最终的行人检测结果。实验表明，本发明专利技术的检测算法在基准行人检测数据集Caltech和ETH上产生较低的检测误差，优于当前数据集中所有检测算法的精度，并适用于检测远尺度的行人。

【技术实现步骤摘要】
基于改进全卷积网络的多尺度感知行人检测方法
本专利技术涉及行人检测
，特别是涉及基于改进全卷积网络的多尺度感知行人检测方法。
技术介绍
近年来，随着智能视频监控、车辆辅助驾驶(ADAS)、基于内容的图像或者视频的探索和人体行为分析等领域的广泛应用，以及一些新的应领域的出现，如家庭服务机器人、基于航拍图像的行人等，行人检测技术的研究已经成为了机器视觉领域的重要研究课题。行人检测技术具有很大的挑战性和提升空间，主要是因为行人目标比人脸目标有更大幅度的姿态变化，而且在视频或者图片中不同行人尺寸跨度较大。由于行人所在背景不同、光照强度不同、服饰装扮的多样性等，使得实时检测行人检测而且高精度非常困难，特别是在智能车辆辅助驾驶这个领域。传统技术存在以下技术问题：由于环境的复杂性，当前的算法在雨天或者黑夜条件下检测到行人的精度达不到工业的要求。
技术实现思路
基于此，有必要针对上述技术问题，提供一种基于改进全卷积网络的多尺度感知行人检测方法，可以在复杂背景下检测出不同尺度的行人，减少交通事故的发生，该方法通过在全卷积网络结构中引进可形变卷积层，通过级联RPN提取多尺度行人建议区域，提出多尺度判别本文档来自技高网...

【技术保护点】
1.一种基于改进全卷积网络的多尺度感知行人检测方法，其特征在于，包括：将所述输入图片尺寸归一化为预定像素，输入到ResNet‑50网络的RoIDataLayer，学习行人特征；ResNet‑50网络的前四层用于提取图像中的行人区域，生成不同尺度的特征图；在ResNet‑50的res5a_branch2b层、res5b_branch2b层和res5c_branch2b层分别引入可形变卷积层和偏移层，卷积核大小为3×3，膨胀大小为2，步长为1，留白为2，输出多尺度特征图y(p0)；分别在C3、C4、C5的最后一层增加一个随机初始化的1×1卷积，将最后输出通道尺度减少到1024维，实现每个卷积层的特...

【技术特征摘要】
1.一种基于改进全卷积网络的多尺度感知行人检测方法，其特征在于，包括：将所述输入图片尺寸归一化为预定像素，输入到ResNet-50网络的RoIDataLayer，学习行人特征；ResNet-50网络的前四层用于提取图像中的行人区域，生成不同尺度的特征图；在ResNet-50的res5a_branch2b层、res5b_branch2b层和res5c_branch2b层分别引入可形变卷积层和偏移层，卷积核大小为3×3，膨胀大小为2，步长为1，留白为2，输出多尺度特征图y(p0)；分别在C3、C4、C5的最后一层增加一个随机初始化的1×1卷积，将最后输出通道尺度减少到1024维，实现每个卷积层的特征共享；在ResNet-50的res4f层引入级联RPN网络，定义近尺度RPN和远尺度RPN，级联后提取不同高度的RoIs；对每个提取到的行人RoI的高度进行判断，根据级联RPN获取到的图片的输入信息，定义一个尺度判别层，输出近尺度的RoIs-N和远尺度的RoIs-F；尺度判别层分别输出不同尺度的RoI-N和RoI-F，构建一个多尺度感知网络，所述多尺度感知网络由近尺度检测网络和远尺度检测网络组成；利用Soft-NMS算法来抑制生成框中的冗余信息。2.根据权利要求1所述的基于改进全卷积网络的多尺度感知行人检测方法，其特征在于，步骤“在ResNet-50的res5a_branch2b层、res5b_branch2b层和res5c_branch2b层分别引入可形变卷积层和偏移层，卷积核大小为3×3，膨胀大小为2，步长为1，留白为2，输出多尺度特征图；”中的多尺度特征图y(p0)计算公式为：y(p0)＝∑w(pn)x(p0+pn+Δpn)其中卷积窗口中的每个像素点pn对应权重w，p0代表窗口输出的每个像素点，x是输入层像素点集合，采样位置为pn，可变形卷积利用偏移量Δpn({Δpn|n＝1,...,N})来增大规则网格R的感受野，N＝|R|表示网格中像素个数，采样偏移位置为pn+Δpn。3.根据权利要求1所述的基于改进全卷积网络的多尺度感知行人检测方法，其特征在于，步骤“在ResNet-50的res4f层引入级联RPN网络，定义近尺度RPN和远尺度RPN，级联后提取不同高度的RoIs；”中的级联RPN获取不同高度的RoIs方式如下：级联RPN中锚点的尺度改为32，64，128，256，512，比例为1:2，1:1，2:1，生成15个锚点，通过滑动窗口的方式，RPN-N获取近尺度的行人区域建议(reg-N)和分类得分，然后将reg-N作为RPN-F的输入，RPN-F通过reg-N的区域坐标值在原图片直接获取行人RoIs，得到最终的得分值和行人区域建议。4.根据权利要求1所述的基于改进全卷积网络的多尺度感知行人检测方法，其特征在于，步骤“对每个提取到的行人RoI的高度...

【专利技术属性】
技术研发人员：彭力，刘辉，闻继伟，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32