基于注意力指导的行人重识别方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于注意力指导的行人重识别方法、装置及存储介质，其中方法包括：获取目标图像和待识别图像；分别提取两者的行人二值化前景，并生成行人三分图；分别将目标图像和待识别图像及各自对应的行人三分图输入基于注意力机制的行人分割模型，提取目标行人图像和待识别行人图像；分别将其缩放到相同大小的白色背景中；并分别划分成若干条带子图，并计算每个条带子图的LOMO特征和CN特征，得到目标行人图像特征集和待识别行人图像特征集；将两个特征集输入基于孪生LSTM网络的相似度预测模型中，得到识别的相似度。能够解决非重叠相机所捕捉的图像背景复杂导致行人识别率不高的问题，能在复杂环境下的安保工作中起到重要的辅助任务。重要的辅助任务。重要的辅助任务。

【技术实现步骤摘要】
基于注意力指导的行人重识别方法、装置及存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种基于注意力指导的行人重识别方法、装置及存储介质。

技术介绍

[0002]近年来，行人重识别(ReID)作为智能监控系统中的一项基本任务受到了广泛的关注，并在许多领域有着广泛的应用前景。给定从一个摄像机捕获的行人图像，任务是从由其他多个摄像机捕获的图库集合中识别该行人。随着监控设备的发展和公共安全需求的增加，在主题公园、机场、街道和大学校园等公共场所安装了大量的摄像头网络。这些网络每天都会产生大量的视频图像数据，这些数据可用于取证或多摄像头跟踪，因此行人重识别技术被广泛应用于智能监控和智能安保领域。然而这些被非重叠相机捕捉到的行人图像通常处于不受控制的环境且绝大部分图像的质量都比较低，且行人往往处于商场、街道、交通枢纽等环境比较复杂的公共场所，这为行人重识别引入了大量不相关的背景信息，还有一些行人图像可能存在多个行人，均在降低特征提取的效率的同时还增加了计算量，进而导致最终识别准确率低。

技术实现思路

[0003]本专利技术提供了一种基于注意力指导的行人重识别方法、装置及存储介质，以解决现有技术中行人重识别方法特征提取效率低及识别准确率低的问题。
[0004]第一方面，提供了一种基于注意力指导的行人重识别方法，包括：
[0005]获取目标图像和待识别图像；
[0006]将目标图像和待识别图像分别输入预先训练好的实例分割模型中，分别得到行人二值化前景，并经处理后分别生成行人三分图；
[0007]分别将目标图像及对应的行人三分图和待识别图像及对应的行人三分图输入预先训练好的基于注意力机制的行人分割模型，分别得到目标行人图像和待识别行人图像；其中基于注意力机制的行人分割模型通过历史行人图像集及对应的三分图集构建的样本集对基于注意力机制和特征融合的DIM网络进行训练得到；
[0008]分别将目标行人图像和待识别行人图像缩放到相同大小的白色背景中；并分别将处理后的目标行人图像和待识别行人图像划分成若干条带子图，并计算每个条带子图的LOMO特征和CN特征，得到目标行人图像特征集和待识别行人图像特征集；
[0009]将目标行人图像特征集和待识别行人图像特征集输入预先训练好的基于孪生LSTM网络的相似度预测模型中，得到识别的相似度。
[0010]进一步地，所述实例分割模型通过历史行人图像集对Mask Scoring R
‑
CNN网络进行训练得到。
[0011]进一步地，所述基于注意力机制和特征融合的DIM网络中，
[0012]编码器：采用VGG
‑
16网络，并用一个卷积层替换VGG
‑
16网络最后的全连接层；并将
VGG
‑
16网络的第2和第3层卷积层作为低层网络层，将VGG
‑
16网络的第4～6层卷积层作为高层网络层；
[0013]解码器：对于低层网络层，采用全局卷积网络进行解码，并基于空间注意力机制对解码后的低层网络特征图向量进行加权；对于高层网络层，采用基于通道注意力机制的空洞空间卷积池化金字塔进行解码加权。
[0014]由Mask Scoring R
‑
CNN获取的二值化前景分割，虽然自动生成三分图，无需人工交互，却无法比拟手动标注的三分图的准确程度。若将自动获取的三分图和原图一起作为输入，经过DIM网络迭代学习，实现前景处理模块并不能达到令人满意的检索结果。故而本专利技术在DIM网络的基础上进行改进，通过对编码器的不同网络层采用不同的解码策略进行特征恢复，并将恢复的特征分别添加空间注意力机制和通道注意力记住，以提高模型的效果。
[0015]进一步地，所述基于空间注意力机制对解码后的低层网络特征图向量进行加权，具体包括：
[0016]对VGG
‑
16网络的第6层卷积层得到的特征图向量V
H
∈R
W
×
H
×
C
通过全局卷积网络进行解码，并通过Sigmoid函数对解码后的V
H
每个位置的元素进行激活，得到的权重表示为Sigmoid(conv(V
H
))；
[0017]将低层网络特征图向量V
L
∈R
W
×
H
×
C
与权重Sigmoid(conv(V
H
))相乘，得到添加空间注意力的低层特征向量V
LA
∈V
L
*Sigmoid(conv(V
H
))。
[0018]低层网络层包含较多的细节信息，丰富的细节信息有利于边缘信息的恢复。本专利技术对低层网络采用全局卷积网络(global convolutional network,GCN)替代大卷积核的卷积进行解码，与直接使用卷积核k
×
k相比，GCN采用k
×
1+1
×
k和用1
×
k+k
×
1的卷积组合，对称、可分离的大滤波器降低模型参数和计算成本的同时，在轮廓、纹理特征丰富的低层网络层中获取更大的感受野，有利于提高像素分类的准确性。第6层卷积层作为特征提取的最后一个特征图，含有高级的语义信息，受背景影响小，基于此添加空间注意力可突出低层网络层中的前景特征信息。
[0019]进一步地，所述对于高层网络层，采用基于通道注意力机制的空洞空间卷积池化金字塔进行解码加权，具体包括：
[0020]对高层网络层的特性图向量采用空洞空间卷积池化金字塔提取特征金字塔；
[0021]对高层网络层的特性图向量降维，并采用Sigmoid函数对降维后的高层网络层的特性图向量进行归一化，赋予相应的权重；
[0022]将得到的权重与特征金字塔相乘，得到添加通道注意力的高层特征向量；
[0023]同时对高层网络层的特性图向量采用全局平均池化层提取得到图像级特征；
[0024]将图像级特征与添加通道注意力的高层特征向量进行通道拼接。
[0025]将权重与特征金字塔相乘，可对每个通道的每一个像素信息进行不同权重的激活；同时引入全局平均池化层添加图像级的特征输出，在一定程度上增强了特征图的全局信息。
[0026]进一步地，所述对高层网络层的特性图向量降维，并采用Sigmoid函数对降维后的高层网络层的特性图向量进行归一化，赋予相应的权重，具体包括：
[0027]对高层网络层的特性图向量I∈R
W
×
H
×
C
采用1
×1×
C的全局平均池化得到特征Z∈
R
C
，其中Z的第C个参数计算公式表示为：
[0028][0029]其中，W、H分别表示特征图向量的宽和高，C表示通道数；
[0030]对特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力指导的行人重识别方法，其特征在于，包括：获取目标图像和待识别图像；将目标图像和待识别图像分别输入预先训练好的实例分割模型中，分别得到行人二值化前景，并经处理后分别生成行人三分图；分别将目标图像及对应的行人三分图和待识别图像及对应的行人三分图输入预先训练好的基于注意力机制的行人分割模型，分别得到目标行人图像和待识别行人图像；其中基于注意力机制的行人分割模型通过历史行人图像集及对应的三分图集构建的样本集对基于注意力机制和特征融合的DIM网络进行训练得到；分别将目标行人图像和待识别行人图像缩放到相同大小的白色背景中；并分别将处理后的目标行人图像和待识别行人图像划分成若干条带子图，并计算每个条带子图的LOMO特征和CN特征，得到目标行人图像特征集和待识别行人图像特征集；将目标行人图像特征集和待识别行人图像特征集输入预先训练好的基于孪生LSTM网络的相似度预测模型中，得到识别的相似度。2.根据权利要求1所述的基于注意力指导的行人重识别方法，其特征在于，所述实例分割模型通过历史行人图像集对Mask Scoring R
‑
CNN网络进行训练得到。3.根据权利要求1所述的基于注意力指导的行人重识别方法，其特征在于，所述基于注意力机制和特征融合的DIM网络中，编码器：采用VGG
‑
16网络，并用一个卷积层替换VGG
‑
16网络最后的全连接层；并将VGG
‑
16网络的第2和第3层卷积层作为低层网络层，将VGG
‑
16网络的第4～6层卷积层作为高层网络层；解码器：对于低层网络层，采用全局卷积网络进行解码，并基于空间注意力机制对解码后的低层网络特征图向量进行加权；对于高层网络层，采用基于通道注意力机制的空洞空间卷积池化金字塔进行解码加权。4.根据权利要求3所述的基于注意力指导的行人重识别方法，其特征在于，所述基于空间注意力机制对解码后的低层网络特征图向量进行加权，具体包括：对VGG
‑
16网络的第6层卷积层得到的特征图向量V
H
∈R
W
×
H
×
C
通过全局卷积网络进行解码，并通过Sigmoid函数对解码后的V
H
每个位置的元素进行激活，得到的权重表示为Sigmoid(conv(V
H
))；将低层网络特征图向量V
L
∈R
W
×
H
×
C
与权重Sigmoid(conv(V
H
))相乘，得到添加空间注意力的低层特征向量V
LA
∈V
L
*Sigmoid(conv(V
H
))。5.根据权利要求3所述的基于注意力指导的行人重识别方法，其特征在于，所述对于高层网络层，采用基于通道注意力机制的空洞空间卷积池化金字塔进行解码加权，具体包括：对高层网络层的特性图向量采用空洞空间卷积池化金字塔提取特征金字塔；对高层网络层的特性图向量降维，并采用Sigmoid函数对降维后的高层网络层的特性图向量进行归一化，赋予相应的权重；将得到的权重与特征金字塔相乘，得到添加通道注意力的高层特征向量；同时对高层网络层的特性图向量采用全局平均池化层提取得到图像级特征；将图像级特征与添加通道注意力的高层特征向量进行通道拼接。6.根据权利要求5所述的基于注意力指导的行人重识别方法，其特征在于，所述对高层
网络层的特性图向量降维，并采用Sigmoid函数对降维后的高层网络层的特性图向量进行归一化，赋予相应的权重，...

【专利技术属性】
技术研发人员：龙军，费洪晓，朱甘霖，杨展，
申请(专利权)人：中南大学，
类型：发明
国别省市：