基于背景及姿态归一化的行人跨镜重识别方法及系统技术方案

一种基于背景及姿态归一化的行人跨镜重识别方法及系统，通过双路人体姿态估计网络从原始图像的背景归一化图像中提取出关键点局部特征及全局特征，通过将各关键点的坐标和类别信息融入关键点特征后，将其输入采用对比学习策略训练的Transformer编码模型，得到不同目标输出的特征的相似度，作为行人跨境重识别的依据；本发明专利技术能够不同程度上解决跨监控行人重识别任务中常见的阴影遮蔽、光照变化、背景切换、姿态异化、局部遮挡等问题，具有较高的实用价值。用价值。用价值。

【技术实现步骤摘要】
基于背景及姿态归一化的行人跨镜重识别方法及系统


[0001]本专利技术涉及的是一种图像识别领域的技术，具体是一种基于背景及姿态归一化的行人跨镜重识别方法及系统。

技术介绍

[0002]行人重识别是利用计算机视觉算法检测图像或者视频中是否存在特定行人的技术，可作为人脸识别技术的补充，对无法获取清晰拍摄人脸的行人进行搜索和追踪。行人重识别技术在视频监控领域应用较多，在公共场所不同监控摄像头采集的视频画面中，选定某一目标行人，以目标行人所在的摄像头为中心，使用行人重识别技术在周围一定范围内的所有摄像头中查找该目标，以确定该目标的行人活动轨迹。
[0003]目前行人重识别领域还存在一些难点尚未解决，实际中不同摄像头高度、角度、分辨率以及监控的场景难以统一，不同时间的光照、天气条件存在差别，行人的姿态、朝向不断发生变化，此外，监控视频中普遍存在行人遮挡情况，这些因素严重限制了实际中行人重识别技术的应用效果，尤其是跨镜重识别技术，目前安防领域的应用效果还远达不到实际使用需求。

技术实现思路

[0004]本专利技术针对现有行人跨镜重识别技术因背景干扰、姿势异化因素造成的识别召回率低的问题，提出一种基于背景及姿态归一化的行人跨镜重识别方法及系统，通过同态滤波实现了不同监控场景中行人照度归一化，通过实例分割实现了行人背景信息的统一，对于行人跨镜重识别问题中照度不均和背景异化的问题有较好的效果；通过一个双路姿态估计网络，提取行人的包括发型、手提物等区域在内的20个关键点局部特征以及人体的全局特征，将其送入一个采用对比学习策略训练的Transformer编码模型中，得到相应的特征编码，Transformer编码模型能够捕获输入特征之间的关联关系，各关键点局部特征在Transformer编码模型中重新建模，因此能够有效避免姿态异化对行人重识别造成的干扰，Transformer编码模型在训练时采用掩模策略，因此能够抑制遮挡问题对特征编码的干扰；最后通过余弦距离计算不同行人画面的相似程度。本专利技术提出了双路姿态估计网络以及一个采用对比学习策略训练的Transformer编码模型，并整合了光照均衡以及背景归一化，提供了一套能够用于真实复杂场景的行人重识别方案，此方案能够不同程度上解决跨监控行人重识别任务中常见的阴影遮蔽、光照变化、背景切换、姿态异化、局部遮挡等问题，具有较高的实用价值。
[0005]本专利技术是通过以下技术方案实现的：
[0006]本专利技术涉及一种基于背景及姿态归一化的行人跨镜重识别方法，通过双路人体姿态估计网络从原始图像的背景归一化图像中提取出关键点局部特征及全局特征，通过将各关键点的坐标和类别信息融入关键点特征后，将其输入采用对比学习策略训练的Transformer编码模型，得到不同目标输出的编码特征，求其相似度作为行人跨境重识别的
依据。
[0007]所述的原始图像的背景归一化图像，通过以下方式得到：将原始图像进行解码，采用同态滤波算法对行人图片进行预处理，得到照度均匀图片集；对照度均匀的画面进行实例分割，提取其中的行人图像，嵌入填充色为RGB(255,255,255)的矩形框中，得到背景归一化图片集。
[0008]所述的照度均匀图片集，具体通过以下方式得到：将原始图像解码，解码后图像记为F
in
；对图像像素矩阵取对数，记为Z
in
，Z
in
＝ln(F
in
+1)；使用快速傅里叶变换将图像转化到频域，记为X
ω
，X
ω
＝FFT(Z
in
)；使用高斯高通滤波器H对频域图像进行滤波，滤波结果记为S，S＝H(X
ω
)；使用快速傅里叶逆变换将频域图像恢复到空域，得到Z
out
，Z
out
＝IFFT(S)；对恢复后的空域数据取指数，得到照度均衡的图像，记为F
out
，F
out
＝exp(Z
out
)。
[0009]所述的背景归一化图片集，具体通过以下方式得到：使用预训练好的目标检测模型提取整张图片特征，预测潜在目标区域候选框坐标；根据候选框坐标在整张图片特征中裁剪出潜在目标区域的特征子图；将潜在目标区域的特征子图中的每个元素看作图中的节点，将特征子图输入一个前置的图卷积层，提取不同元素之间的关联关系，得到潜在目标框中遮挡物的掩膜信息，将遮挡物和被遮挡目标的边界解耦；将潜在目标区域特征子图与前置的图神经网络处理后的特征相加，输入一个后置的图卷积网络，输出目标区域遮挡物体和被遮挡目标的分割结果；将分割后的行人目标从原始图片中抠取出来，嵌入填充色为RGB(255,255,255)的矩形框中，得到背景归一化图片集。
[0010]所述的双路人体姿态估计网络，包括：用于提取四路不同分辨率的特征图的主干网络、用于将四路不同分辨率的特征图聚合为全局特征的全局特征聚合模块、用于将四路特征图的分辨率放大至原来的4倍的特征超分辨率模块、用于热图预测和热图融合的多分辨率热图聚合模块。
[0011]所述的主干网络与HRNet相比，精简了最后的特征聚合模块。
[0012]所述的全局特征聚合模块包括：1
×
1卷积层和3
×
3卷积层。
[0013]所述的特征超分辨率模块包括：双线性插值层和步长为1卷积层。
[0014]所述的多分辨率热图聚合模块包括：用于实现热图预测的包含20个1
×
1卷积的卷积层的通道合并单元和用于热图融合的双线性插值层和平均层。
[0015]所述的双路人体姿态估计网络，在训练时根据实际关键区域的大小，限定了训练数据关键点热图的范围。
[0016]所述的将各关键点的坐标和类别信息融入关键点特征是指：将双路人体姿态估计网络输出的关键点局部特征与全局特征按照首尾相接的方式分别展平后再合并，得到特征嵌入矩阵；采用正弦编码的方式构造关键点类别嵌入矩阵，与特征嵌入矩阵相加；采用拼接的方式将各关键点的位置信息嵌入特征矩阵中。
[0017]所述的Transformer编码模型，其训练阶段采用随机抽取的方式将输入的不同关键点特征置为高斯白噪声的方式，模拟现实世界遮挡情形；训练阶段所采用的目标函数采用基于不同样本特征相似度的交叉熵损失，训练目标为使同一行人不同图像的相似度更大，同一行人图像的相似度更小。
[0018]本专利技术涉及一种实现上述基于背景及姿态归一化的行人跨镜重识别方法的系统，包括：视频预处理模块、背景归一化模块、关键点特征提取模块、特征编码模块和相似度计
算模块，其中：视频预处理模块将监控视频进行解码，获取待处理的识别的监控画面并进行同态滤波，得到照度均匀图片集；背景归一化模块处理监控画面中的行人目标的背景信息，在照度均匀图片中分离出行人目标，并将行人目标嵌入填充色为RGB(255,255,255)的矩形框中，得到背景归一化图片集；关键点特征提取模块处理背景归一化图片集，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于背景及姿态归一化的行人跨镜重识别方法，其特征在于，通过双路人体姿态估计网络从原始图像的背景归一化图像中提取出关键点局部特征及全局特征，通过将各关键点的坐标和类别信息融入关键点特征后，将其输入采用对比学习策略训练的Transformer编码模型，得到不同目标输出的特征的相似度，作为行人跨境重识别的依据；所述的双路人体姿态估计网络，包括：用于提取四路不同分辨率的特征图的主干网络、用于将四路不同分辨率的特征图聚合为全局特征的全局特征聚合模块、用于将四路特征图的分辨率放大的特征超分辨率模块以及用于热图预测和热图融合的多分辨率热图聚合模块；所述的Transformer编码模型，其训练阶段采用随机抽取的方式将输入的不同关键点特征置为高斯白噪声的方式，模拟现实世界遮挡情形；训练阶段所采用的目标函数采用基于不同样本特征相似度的交叉熵损失，训练目标为使同一行人不同图像的相似度更大，同一行人图像的相似度更小。2.根据权利要求1所述的基于背景及姿态归一化的行人跨镜重识别方法，其特征是，所述的原始图像的背景归一化图像，通过以下方式得到：将原始图像进行解码，采用同态滤波算法对行人图片进行预处理，得到照度均匀图片集；对照度均匀的画面进行实例分割，提取其中的行人图像，嵌入填充色为RGB(255,255,255)的矩形框中，得到背景归一化图片集。3.根据权利要求1所述的基于背景及姿态归一化的行人跨镜重识别方法，其特征是，所述的照度均匀图片集，具体通过以下方式得到：将原始图像解码，解码后图像记为F
in
；对图像像素矩阵取对数，记为Z
in
，Z
in
＝ln(F
in
+1)；使用快速傅里叶变换将图像转化到频域，记为X
ω
，X
ω
＝FFT(Z
in
)；使用高斯高通滤波器H对频域图像进行滤波，滤波结果记为S，S＝H(X
ω
)；使用快速傅里叶逆变换将频域图像恢复到空域，得到Z
out
，Z
out
＝IFFT(S)；对恢复后的空域数据取指数，得到照度均衡的图像，记为F
out
，F
out
＝exp(Z
out
)。4.根据权利要求1所述的基于背景及姿态归一化的行人跨镜重识别方法，其特征是，所述的背景归一化图片集，具体通过以下方式得到：使用预训练好的目标检测模型提取整张图片特征，预测潜在目标区域候选框坐标；根据候选框坐标在整张图片特征中裁剪出潜在目标区域的特征子图；将潜在目标区域的特征子图中的每个元素看作图中的节点，将特征子图输入一个前置的图卷积层，提取不同元素之间的关联关系，得到潜在目标框中遮挡物的掩膜信息，将遮挡物和被遮挡目标的边界解耦；将潜在目标区域特征子图与前置的图神经网络处理后的特征相加，输入一个后置的图卷积网络，输出目标区域遮挡物体和被遮挡目标的分割结果；将分割后的行人目标从原始图片中抠取出来，嵌入填充色为RGB(255,255,255)的矩形框中，得到背景归一化图片集。5.根据权利要求1所述的基于背景及姿态归一化的行人跨镜重识别方法，其特征是，所述的双路人体姿态估计网络中的主干网络与HRNet相比，精简了最后的特征聚合模块；所述的全局特征聚合模块包括：1
×
1卷积层和3
×
3卷积层；所述的特征超分辨率模块包括：双线性插值层和步长为1卷积层；所述的多分辨率热图聚合模块包括：用于实现热图预测的包含20个1
×
1卷积的卷积层的通道合并单元和用于热图融合的双线性插值层和平均层。6.根据权利要求1～5中任一所述的基于背景及姿态归一化的行人跨镜重识别方法，其特征是，具体包括：
S1，对原始监控视频进行解码，提取出不同场景、不同时刻的监控画面并进行同态滤波，将监控画面中的光照条件调整到一致，降低阴影光照因素对行人重识别的影响，得到照度均衡图片集；S2，对照度均衡的图片集进行实例分割，提取其中的行人图像，嵌入白色矩形框中，得到背景归一化图片集；S3，将背景归一化图片集输入一个训练好的双路人体姿态估计网络中，提取行人目标的20个关键点局部特征和全局特征，构成第一特征集；S4，将第一特征集中的关键点局部特征和全局特征进行融合，并嵌入坐标信息以及类别信息后，将其输入、采用对比学习策略训练的Transformer编码模型，得到用于计算行人相似度的特征编码，构成第二特征集；S5，计算查找目标和待搜索对象库中各目标的总体相似度，得到重识别结果，具体为：使用上述步骤获取不同监控画面中出现的所有行人目标的最终特征编码，作为待搜索对象特征库；采用上述步骤获取查找目标的最终特征编码；将查找目标的最终特征编码分别与待搜索对象特征库中的不同行人的最终特征编码求余弦距离，作为查找目标和各待搜索对象的相似度，按照相似度排序，从大到小给出重识别结果。7....

【专利技术属性】
技术研发人员：陆科名，刘文斌，陈伟，陈曦珑，赵雪珺，
申请(专利权)人：上海市刑事科学技术研究院，
类型：发明
国别省市：