一种联合注意力机制的时空特征聚合方法及系统、终端技术方案

本发明专利技术提供了一种联合注意力机制的时空特征聚合方法及系统、终端，在深度网络中利用卷积神经网络提取行人的空域特征，利用递归神经网络综合提取出的空域特征从而得到行人的时域特征；采用特征提取网络分别生成对应的质量敏感和帧敏感的注意力分数用以对空域和时域特征进行动态融合；通过线性叠加融合得到的质量敏感的空域特征和帧敏感的时域特征，得到行人空时特征表达；分别在行人的上中下部位进行网络训练得到相应的具有互补性质局部特征，拼接得到更具区分度的特征表达。本发明专利技术具有很好的鲁棒性，能更好的解决与适应遮挡和光线变化等情况；结合行人的空域和时域特征，挖掘行人的细节特性，使其在下一步的行人识别中发挥更好的性能及效率。

【技术实现步骤摘要】
一种联合注意力机制的时空特征聚合方法及系统、终端
本专利技术属于计算机视觉
，具体地，涉及一种一种联合注意力机制的时空特征聚合方法及系统、终端。
技术介绍
行人重识别是智能视频监控中的一项关键任务,是近年来计算机视觉领域中一直备受关注的研究热点,适用于安防以及公共场所寻人等
行人重识别可定义为:在无重叠的视频监控网络中,对于摄像头中给定的某个行人,判断其是否出现在其他摄像头中的过程。它是一种自动的目标识别技术,能在监控网络中快速定位到感兴趣的人体目标,是智能视频监控和人体行为分析等应用中的重要步骤。如何在有限的数据中提取足够具有区分度的特征是行人重识别技术中的关键性挑战。基于行人视频的重识别算法由于包含更多的连续性样本，能够更好的解决由遮挡等带来的挑战，近期来得到了越来越多的关注。从现有的技术文献检索发现，基于视频的行人重识别整体来讲有两种主要的研究思路。思路之一是利用传统的计算机是利用传统的计算机视觉的方法，通过复杂的数学推导和模型设计从而实现特定数据集的特征提取(参见I.Kviatkovsky,A.Adam,andE.本文档来自技高网...

【技术保护点】
1.一种联合注意力机制的空时特征聚合方法，其特征在于，包括：/n构造全卷积神经网络FCN1，对行人视频中空域特征进行提取，得到质量分数μ

【技术特征摘要】
1.一种联合注意力机制的空时特征聚合方法，其特征在于，包括：
构造全卷积神经网络FCN1，对行人视频中空域特征进行提取，得到质量分数μt并输出；
构造全卷积神经网络FCN2，对于行人视频中的一个行人序列中的每一张图片st，均经过此全卷积神经网络FCN2，得到图片特征ft；
对得到的图片特征ft和对应的质量分数μt进行群池化，得到质量敏感的序列化行人空域特征XC；
基于递归神经网络，提取行人序列中的每一张图片st的时域特征ot；
利用递归神经网络，提取帧敏感分数vt用于表征当前帧在时域特征提取中的重要性；
对得到的时域特征ot和帧敏感分数vt进行群池化，提取帧敏感的序列化行人时域特征XR；
将行人序列中的行人图像分为上中下三部分，分别经过由上述全卷积神经网络和递归神经网络构成的特征提取网络，提取出局部联合注意力机制的空时特征，然后组合成最终的全局特征，得到最终具有区分度的质量敏感的序列化行人空域特征XC和帧敏感的序列化行人时域特征XR表达；
将提取出的具有区分度的质量敏感的序列化行人空域特征XC和帧敏感的序列化行人时域特征XR通过线性叠加进行融合，得到聚合的行人空时特征XF。


2.根据权利要求1所述的联合注意力机制的时空特征聚合方法，其特征在于，所述全卷积神经网络FCN1包括三个卷积层、两个池化层和一个全连接层；和/或
所述全卷积神经网络FCN2包括22层GoogLeNet。


3.根据权利要求1所述的联合注意力机制的时空特征聚合方法，其特征在于，对得到的图片特征ft和对应的质量分数μt进行群池化以及对得到的时域特征ot和帧敏感分数vt进行群池化中，所述群池化为：






其中，T表示行人视频中的一个行人序列的长度。


4.根据权利要求1所述的联合注意力机制的时空特征聚合方法，其特征在于，将提取出的具有区分度的质量敏感的行人空域特征XC和提取出的具有区分度的帧敏感的行人时域特征XR进行融合，其中特征向量采用1:1的线性叠加，具体为：
XF＝XC+XR。


5.根据权利要求1-4任一项所述的联合注意力机制的时空特征聚合方法，其特征在于，还包括：
将行人的空时特征XF送入三元...

【专利技术属性】
技术研发人员：杨华，陈琳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31