基于多层感知机网络的跨层级加强特征的行人再识别方法技术

本发明专利技术涉及基于多层感知机网络的跨层级加强特征的行人再识别方法，包括如下步骤：1、从含有行人的视频中通过抽帧得到行人图像I；2、从行人图像I中提取特征E1，经过多层感知机网络融合、重塑，得到行人特征F；3、将行人特征F输入嵌入层；4、将嵌入层输出的特征F0输入特征提取网络，得到特征F4，所述特征提取网络包括结构相同的多层子网络、以及加强模块，用于对一层子网络的输出进行加强后输出到跨层的子网络；5、对特征F4进行全尺度融合、归一化与降维处理；6、将处理后的特征输入三元组损失函数进行度量学习，输入交叉熵损失函数进行分类学习，得到训练好的分类器；7、将特征Feat输入到训练好的分类器中，输出行人再识别的分类结果。果。果。

【技术实现步骤摘要】
基于多层感知机网络的跨层级加强特征的行人再识别方法


[0001]本专利技术涉及数字图像处理与模式识别领域，具体涉及一种基于多层感知机网络跨层级加强行人特征的行人再识别方法。

技术介绍

[0002]行人再识别是利用计算机视觉技术判断不同摄像机中的监控图像或者监控视频中是否存在相同行人的技术。即，根据给定的行人图像或者视频信息，检索跨设备下的该行人图像与视频。该技术旨在弥补现实监控系统下设备盲区的问题，并为行人轨迹跟踪问题等下游任务提供技术基础。其中，视频行人再识别与图像行人再识别相比，差别在于给定数据是行人的视频数据而非图像数据。但由于读取视频数据的速度过慢，现步骤视频行人再识别技术使用的数据大多是先从一段监控视频中抽取图像帧而后利用行人检测器裁剪图像帧中的行人图像。其普遍存在的问题仍包括行人遮挡、设备像素差异和行人不对齐等。目前的视频行人再识别技术仅使用单一尺度获取行人特征，没有考虑使用跨层级传输融合行人的特征表示。

技术实现思路

[0003]本专利技术的目的是针对现有技术的不足，提供一种基于多层感知机网络的跨层级加强特征的视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨层级加强特征的视频行人再识别方法，包括如下步骤：步骤1、从含有行人的视频中通过抽帧得到行人图像I；步骤2、从行人图像I中提取特征E1，经过多层感知机网络融合、重塑，并恢复为行人图像I的尺寸，得到行人特征F；步骤3、将行人特征F输入嵌入层，得到特征F0；步骤4、将特征F0输入特征提取网络，得到特征F4，其中，所述特征提取网络由主干网络和加强模块组成，所述主干网络包括多层子网络，各层子网络的结构相同但参数不共享，所述加强模块用于对一层子网络的输出进行加强后输出到跨层的子网络；步骤5、对特征F4进行全尺度融合、归一化与降维处理，得到特征Feat；步骤6、将特征Feat输入三元组损失函数进行度量学习，同时，将特征Feat进行归一化之后输入交叉熵损失函数进行分类学习，网络模型训练结束后，得到训练好的分类器；步骤7、将特征Feat输入到训练好的分类器中，输出行人再识别的分类结果。2.根据权利要求1所述的跨层级加强特征的视频行人再识别方法，其中，在步骤1中，将模型使用的数据集中每个视频的原始行人图像i统一尺寸，转换公式为：I＝Resize(i)其中，I的尺寸为16
×
224
×
224
×
3，对应每个视频数据随机抽取的图像帧数、图像的高度、宽度和通道数。3.根据权利要求2所述的跨层级加强特征的视频行人再识别方法，其中，步骤2包括：步骤2
‑
1、将图像I按照水平方向分割成长度为16向量后拼接成特征E1，其大小为16
×
588
×1×
16；步骤2
‑
2、将特征E1经过Reshape操作后输入到多层感知机网络MLP
Fuse
，再次经过Reshape操作后得到集成特征T1，其大小为16
×
196
×1×
16，公式如下：T1＝Reshape(MLP
Fuse
(Reshape(E1)))步骤2
‑
3、将集成特征T1经过Reshape操作后输入多层感知机网络MLP
Des
再次经过Reshape操作后得到输出特征T2，其大小为16
×
588
×1×
16，公式如下：T2＝Reshape(MLP
Des
(Reshape(T1)))步骤2
‑
4、将特征T2的尺寸重新恢复为原图尺寸，得到行人特征F，其大小为16
×
224
×
224
×
3。4.根据权利要求3所述的跨层级加强特征的视频行人再识别方法，在步骤3中，将行人特征F输入嵌入层，得到特征F0，其大小为8
×
56
×
56
×
112；经过如下公式得到：F0＝BN3D(Conv1(GELU(BN3D(Conv3(F)))))其中，Conv1、Conv3、BN
3D
与GELU分别为1
×
1卷积、3
×
3卷积、3D归一化与激活函数。5.根据权利要求4所述的跨层级加强特征的视频行人再识别方法，在步骤4中，在每层子网络中顺序放置空间处理模块和时间处理模块，在每个模块之前应用归一化层；在第一层子网络中，将空间处理模块、时间处理模块和归一化层命名为与LN，其中上标1表示子网络的层级，在空间处理模块中，共有四个分支：横向裁剪分支、纵向裁剪分支、双向裁剪分支与通道融合分支；
在横向裁剪分支(S401)中，将输入特征F0在水平方向上按照空间分割维度进行分割重组，得到特征向量其大小为8
×
224
×
14
×
112；将特征向量输入多层感知机网络中得到横向特征结果之后再次对特征尺寸进行重构：通道数加倍、高度宽度减半，最终得到行人特征其大小为8
×
56
×
56
×
112；经过如下公式得到：112；经过如下公式得到：与分别为分割重组操作、多层感知机网络与特征重构操作；在纵向裁剪分支(S402)中，将输入特征在垂直方向上按照空间分割维度进行分割重组，得到特征向量其大小为8
×
224
×
14
×
112；将特征向量输入多层感知机网络中得到横向特征结果之后再次对特征尺寸进行重构：通道数加倍、高度宽度减半，得到行人特征其大小为8
×
56
×
56
×
112；经过如下公式得到：112；经过如下公式得到：与分别为分割重组操作、多层感知机与特征...

【专利技术属性】
技术研发人员：赵志诚，赵睿宁，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：