一种支持多尺度快速深度行人检测模型制造技术

本发明专利技术公开了一种支持多尺度快速深度行人检测模型，包括通过1*1与3*3小卷积核卷积层构建更深层次的特征提取计算架构；基于特征融合金字塔模型设计多尺度深度特征融合计算结构，融合底层强结构特征与高层强语义特征；设计合理网络输出层结构，融合行人中心位置信息、行人边界框的宽高信息、边界框的置信度信息以及行人所属置信度信息，设计对应的误差函数度量网络的代价，通过反向传播算法训练多尺度快速深度行人检测模型；最后，通过反向传播算法对模型参数进行训练，拟合复杂环境中多尺度行人信息。本发明专利技术针对实时行人检测的多尺度、深度抽象的特点，设计支持多尺度快速深度行人模型，能够快速有效检测复杂环境中行人。

A Multi-scale Fast Depth Pedestrian Detection Model

【技术实现步骤摘要】
一种支持多尺度快速深度行人检测模型
本专利技术属于行人检测处理
，涉及一种支持多尺度快速深度行人检测模型。
技术介绍
随着社会的快速发展，人们对有效安全保护的需求越来越迫切。行人检测可以准确识别视频流或者静态图片中的行人信息，是一种常用的安全监控手段。然而，当前的行人检测模型大多基于方向梯度直方图(HistogramofOrientedGradient,HOG)等浅层特征，难以对复杂图像进行深度抽象，从而无法有效地建模行人信息，因此，随着检测环境的日益复杂，这要求行人检测算法能够挖掘出复杂环境中检测图像的深度感知信息，准确地挖掘出不同尺度行人信息。深度卷积特征学习模型基于有监督、半监督、无监督学习策略，通过堆叠多层卷积层、抽样层以及全连接层，逐层构建复杂环境中图像的多层表示，抽取图像中高层行人信息。深度卷积特征学习模型能够有效地拟合数据中隐含的抽象信息，然而该模型属于单一尺度特征学习模型，无法融合图像的底层结构信息与高层语义抽象信息，难以构建不同尺度上的行人信息，无法有效地适应日益复杂的行人检测环境。金字塔特征融合模型是一种有效的不同尺度特征融合方法，因此本专利技术基于金字塔模型提出一种支持多尺度快速深度行人检测模型用来识别复杂环境中不同尺度的行人。实现支持多尺度快速深度行人检测模型具有两个大的挑战：(1)快速深度行人特征拟合：在日益复杂的环境中，视频检测图像内容复杂包含多种物体对象，对于这类行人检测数据，通过堆叠多层卷积层、抽样层以及全连接层构建深度卷积计算模型，抽象出复杂环境中行人检测数据的深度语义信息。传统的深度卷积特征学习模型，在构建深度网络时结构复杂，计算前向特征消耗大量的计算资源，未能充分利用深度模型的结构知识，模型在抽象复杂环境中的深度语义行人信息时速度慢，无法满足快速实时行人检测的要求。因此如何设计合理的特征提取网络结构，快速地构建有效的行人信息，是实现支持多尺度快速深度行人检测模型的关键问题。(2)多尺度结构语义特征融合：在日益复杂的环境中，视频检测图像内容复杂，检测图像中包含尺度各异的行人目标。针对这类多目标不同尺度行人检测图像，需要充分对不同尺度底层结构特征信息与高层语义信息进行融合，才能有效地对学习不同尺度的深度行人信息。现有的行人检测模型大多为在单一尺度的特征上构建行人信息，无法充分检测图像中尺度各异的行人目标，因此如何设计有效的多尺度融合特征，有效地实现不同尺度的结构信息与语义信息的融合，实现多尺度结构语义特征融合是设计支持多尺度快速深度行人检测模型的关键问题。本专利技术提供的多尺度快速深度行人检测模式通过构建有效的深层网络，快速拟合检测数据中深度行人信息，进而有效地对行人信息进行分析预测，同时，它通过构建多尺度特征融合网络，将检测数据中的底层结构信息与高层语义信息进行融合，进而有效地识别多尺度行人信息。
技术实现思路
传统的行人检测模型不支持深度特征抽象与多尺度检测，本专利技术提供了一种支持多尺度快速深度行人检测模型，设计快速的深度特征提取网络与特征融合网络，以应对日益复杂环境中的行人检测迫切需求。本专利技术的技术方案：一种支持多尺度快速深度行人检测模型，包括特征提取模块、特征融合模块以及行人检测模块；所述特征提取模块基于深度卷积特征范式构建输入检测数据的深层抽象表示，所述特征融合模块通过金字塔模型融合输入检测数据的多尺度特征，所述行人检测模块检测行人信息并构建行人定位边界框；采用所述行人检测模型进行行人检测的具体步骤如下：(1)所述特征提取模块进行深度特征提取计算：基于深度卷积特征模型计算范式，使用3×3卷积层构建特征提取模块的主干网络，随机向特征提取模块的主干网络添加1×1卷积层，所述特征提取模块包括2个单卷积层和5个多卷积层，单卷积层由3*3卷积层、批归一化层、以及LeakyReLU非线性激活函数映射构成，每个单卷积层后各具有1个最大值抽样层，多卷积层由两个单卷积层以及在两个单卷积层之间的1*1卷积层及其对应的批归一化层与LeakyReLU非线性激活函数映射构成，前4个多卷积层后各具有1个最大值抽样层，所述特征提取模块包括23个计算层：17个卷积层和6个最大值抽样层；3*3卷积：给定的输入特征x∈RI×I，步长为S，外延为P，则3*3卷积的操作定义如下：其中，yij表示输出特征图中第(i,j)个元素，y表示输出特征，3*3卷积的操作中为((I+P-3)/S+1)*((I+P-3)S/+1)维，m＝i+s-1以及n＝j+h-1；I为输入特征维度，R表示实数集，s为卷积核行索引，h为卷积核列索引；1*1卷积：给定的输入特征x∈RI×I，步长为S＝1，外延为P＝0，则1*1卷积的操作定义如下：yijα＝f(xij·kα+bα)(2)其中，yijα表示第α个输出特征图中的第(i,j)个元素，y表示输出特征，1*1卷积操作中为I*I维度，f表示非线性函数，kα表示第α个卷积核以及bα表示对应偏置，xij表示输入特征图中的第(i,j)个元素；最大值抽样：给定的输入特征x∈RI×I，步长为S＝2，则最大值抽样的操作定义如下：yij＝max(xij,xi+1j,xij+1,xi+1j+1)(3)其中，yij表示输出特征图中第(i,j)个元素，y表示输出特征，最大值抽样操作中为(I/2)*(I/2)维度；(2)所述特征融合模块进行多尺度特征融合计算：在特征融合阶段计算中，特征提取模块中的卷积层自底至顶逐层构建金字塔模型中的每层特征图，逐层构建输入流向的高层强语义特征，通过上采样操作自顶至底构建金字塔模型中对应层强语义特征，通过通道叠加操作融合金字塔模型中对应层特征，构建最终输出特征；在特征提取模块中的计算层的第11层、15层、23层分别以52*52、26*26以及13*13多个尺度的特征图上分别进行高层强语义特征与底层强结构特征融合构建特征融合模块；特征提取模块中的计算层的第11层的输入特征为X(9)，同时分别表示网络第9层卷积核、10层卷积核以及11层卷积核，则特征融合模块中自底向顶流向第一特征图O(11)的计算如下：其中，f表示非线性映射函数，b表示对应层偏置；特征融合模块中自底至顶流向的第二特征图O(15)与第三特征图O(23)计算公式分别如下：特征融合模块中自顶至底流向的第一强语义特征图TO(23)与特征融合模块中自底至顶流向的第三特征图O(23)一致；第二强语义特征图TO(15)的计算形式如下：TO(15)＝upsample(TO(23)*K1×1)(7)其中，upsample表示上采样操作；第三强语义特征图TO(11)的计算形式如下：其中，表示通道叠加；特征融合模块中的输出层的多尺度特征图的如下：FO(23)＝TO(23)*K1×1(9)其中，FO(11)、FO(15)、FO(23)分别表示第11层、15层、23的多尺度融合特征图；多尺度特征融合的计算包括3*3卷积操作、1*1卷积操作以及上采样操作，3*3卷积操作、1*1卷积操作形式化定义分别如式(1)和式(2)，上采样操作形式化定如下：上采样：给定的输入特征x∈RI×I，步长为S＝2，则上采样的操作定义如下：yij＝upsample(xij)(12)即将x中每一个元素复制到2*2特征图的其中，yij表示输出特征图中第(i,本文档来自技高网...

【技术保护点】
1.一种支持多尺度快速深度行人检测模型，其特征在于，该支持多尺度快速深度行人检测模型包括特征提取模块、特征融合模块以及行人检测模块；所述特征提取模块基于深度卷积特征范式构建输入检测数据的深层抽象表示，所述特征融合模块通过金字塔模型融合输入检测数据的多尺度特征，所述行人检测模块检测行人信息并构建行人定位边界框；采用所述行人检测模型进行行人检测的具体步骤如下：(1)所述特征提取模块进行深度特征提取计算：基于深度卷积特征模型计算范式，使用3×3卷积层构建特征提取模块的主干网络，随机向特征提取模块的主干网络添加1×1卷积层，所述特征提取模块包括2个单卷积层和5个多卷积层，单卷积层由3*3卷积层、批归一化层、以及LeakyReLU非线性激活函数映射构成，每个单卷积层后各具有1个最大值抽样层；多卷积层由两个单卷积层以及在两个单卷积层之间的1*1卷积层及其对应的批归一化层与LeakyReLU非线性激活函数映射构成，前4个多卷积层后各具有1个最大值抽样层；所述特征提取模块共包括23个计算层：17个卷积层和6个最大值抽样层；3*3卷积：给定的输入特征x∈R

【技术特征摘要】
1.一种支持多尺度快速深度行人检测模型，其特征在于，该支持多尺度快速深度行人检测模型包括特征提取模块、特征融合模块以及行人检测模块；所述特征提取模块基于深度卷积特征范式构建输入检测数据的深层抽象表示，所述特征融合模块通过金字塔模型融合输入检测数据的多尺度特征，所述行人检测模块检测行人信息并构建行人定位边界框；采用所述行人检测模型进行行人检测的具体步骤如下：(1)所述特征提取模块进行深度特征提取计算：基于深度卷积特征模型计算范式，使用3×3卷积层构建特征提取模块的主干网络，随机向特征提取模块的主干网络添加1×1卷积层，所述特征提取模块包括2个单卷积层和5个多卷积层，单卷积层由3*3卷积层、批归一化层、以及LeakyReLU非线性激活函数映射构成，每个单卷积层后各具有1个最大值抽样层；多卷积层由两个单卷积层以及在两个单卷积层之间的1*1卷积层及其对应的批归一化层与LeakyReLU非线性激活函数映射构成，前4个多卷积层后各具有1个最大值抽样层；所述特征提取模块共包括23个计算层：17个卷积层和6个最大值抽样层；3*3卷积：给定的输入特征x∈RI×I，步长为S，外延为P，则3*3卷积的操作定义如下：其中，yij表示输出特征图中第(i,j)个元素，y表示输出特征，3*3卷积的操作中为((I+P-3)/S+1)*((I+P-3)S/+1)维，m＝i+s-1以及n＝j+h-1；I为输入特征维度，R表示实数集，s为卷积核行索引，h为卷积核列索引；1*1卷积：给定的输入特征x∈RI×I，步长为S＝1，外延为P＝0，则1*1卷积的操作定义如下：yijα＝f(xij·kα+bα)(2)其中，yijα表示第α个输出特征图中的第(i,j)个元素，y表示输出特征，1*1卷积操作中为I*I维度，f表示非线性函数，kα表示第α个卷积核以及bα表示对应偏置，xij表示输入特征图中的第(i,j)个元素；最大值抽样：给定的输入特征x∈RI×I，步长为S＝2，则最大值抽样的操作定义如下：yij＝max(xij,xi+1j,xij+1,xi+1j+1)(3)其中，yij表示输出特征图中第(i,j)个元素，y表示输出特征，最大值抽样操作中为(I/2)*(I/2)维度；(2)所述特征融合模块进行多尺度特征融合计算：在特征融合阶段计算中，特征提取模块中的卷积层自底至顶逐层构建金字塔模型中的每层特征图，逐层构建输入流向的高层强语义特征，通过上采样操作自顶至底构建金字塔模型中对应层强语义特征，通过通道叠加操作融合金字塔模型中对应层特征，构建最终输出特征；在特征提取模块中的计算层的第11层、15层、23层分别以52*52、26*26以及13*13多个尺度的特征图上分别进行高层强语义特征与底层强结构特征融合构建特征融合模块；特征提取模块中的计算层的第11层的输入特征为X(9)，同时分别表示网络第9层卷积核、10层卷积核以及11层卷积核，则特征融合模块中自底向顶流向第一特征图O(11)的...

【专利技术属性】
技术研发人员：高静，陈志奎，端辉，李朋，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21