一种基于动作激励的时空特征擦除视频行人重识别方法技术

本发明专利技术公开了一种基于动作激励的时空特征擦除视频行人重识别方法。其中，所述方法包括：获取包含多个动作的行人视频数据；构建基于行人视频数据的深度残差网络模型；采用基于动作激励和时空特征的深度残差网络对深度残差网络模型进行训练，并利用训练后的深度残差网络模型进行视频行人重识别。本发明专利技术针对当前视频行人重识别研究中，关注表观特征以及细粒度特征，即单帧内的静态特征，而忽略视频所特有的动态特性，由多帧构成的动作特征这一问题，从动作特征的提取入手，提出了基于动作激励的时空特征擦除视频行人重识别算法。励的时空特征擦除视频行人重识别算法。励的时空特征擦除视频行人重识别算法。

【技术实现步骤摘要】
一种基于动作激励的时空特征擦除视频行人重识别方法


[0001]本专利技术涉及视频行人重识别
，尤其涉及一种基于动作激励的时空特征擦除视频行人重识别方法。

技术介绍

[0002]人工智能在公共安全领域大有可为，而行人重识别正是人工智能在公共安全领域的典型应用。行人重识别广泛应用于刑事侦查、智能安防、智能监控、智慧城市及无人超市等各个领域，其在维护人民生命和财产安全方面，提供有利保障。早期刑侦案件中，为了从监控摄像头中，找到犯罪嫌疑人的行动踪迹，需要大量的办案人员对多摄像头，长时间的大量视频进行观看来人为的筛选排查，这无疑是费时费力且效率低下的，而且有可能延误办案时机，导致进展不顺等。而行人重识别技术，可以在海量的视频数据中，精确的检索出相应的犯罪嫌疑人，为案件侦破提供有力的帮助。
[0003]视频行人重识别任务本身面临复杂挑战。相同身份的行人，在不同角度的摄像头的拍摄下，往往呈现出不同姿态，不同尺度，不同清晰度等差异。而不同身份的行人，由于外观穿着相近，在同一摄像头下的成像往往极其相似，导致难以区分。在这些情况下，准确地进行视频行人重识别存在着很大的困难。
[0004]视频行人重识别研究中普遍存在一个假设，即利用视频序列中的多帧图像进行相互补充相互参考，例如当视频序列某一帧中的目标行人被遮挡时，在其他视频帧中可能并未发生被遮挡的情况；某一帧目标行人因运动导致成像模糊时，其他帧可能正确聚焦等假设。因此视频行人重识别，大都关注于多帧特征的融合，希望通过多帧特征融合存优去劣，获得具有判别力的行人视频特征。然而，当前视频行人重识别的研究，大都借鉴图像行人重识别的思想，过于关注表观特征而忽略了行人的动作特征。假如不同行人间的外貌穿戴相似，表观特征就难以起到分辨作用，此时动作特征相较于表观特征来说，就更具有判别力。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提出一种基于动作激励的时空特征擦除视频行人重识别方法，在视频行人重识别方法中引入了动作信息作为外观信息的激励，比原来只关注外观信息的模型更加准确。
[0006]根据本专利技术的一个方面，提供一种基于动作激励的时空特征擦除视频行人重识别方法，包括：获取包含多个动作的行人视频数据；构建基于行人视频数据的深度残差网络模型；采用基于动作激励和时空特征的深度残差网络对深度残差网络模型进行训练，并利用训练后的深度残差网络模型进行视频行人重识别。
[0007]在上述技术方案中，针对当前视频行人重识别研究中，关注表观特征以及细粒度特征即单帧内的静态特征，而忽略视频所特有的动态特性即由多帧构成的动作特征这一问题，上述技术方案从动作特征的提取入手，提出了基于动作激励的时空特征擦除视频行人重识别方法。在视频行人重识别方法中引入了动作信息作为外观信息的激励，比原来只关
注外观信息的模型更加准确。
[0008]在一些实施例中，所述采用基于动作激励和时空特征的深度残差网络对深度残差网络模型进行训练，包括：深度残差网络分别提取视频数据中行人的表观特征、动作激励特征和空间信息、时序信息，并利用动作激励特征作为激励信息从表观特征中提取出行人特征；采用空间信息和时序信息对行人特征进行精炼，获得包含时空关系的行人特征；将包含时空关系的行人特征输入深度残差网络进行训练获取深度残差网络模型。
[0009]在上述技术方案中，为了保留表观特征的作用，将动作特征仅作为激励信息，从而使得通过网络提取出的行人特征，同时兼顾了表观与动作信息。同时本专利技术分别利用空间信息和时序信息，进一步地精炼了当前的特征表示。
[0010]在一些实施例中，所述深度残差网络提取视频数据中行人的表观特征、动作激励特征；以及，所述利用动作激励特征作为激励信息从表观特征中提取出行人特征，具体包括：深度残差网络提取表观特征；对表观特征进行降维获得降维特征，再对降维特征卷积获得卷积降维特征；通过降维特征、卷积降维特征、特征帧差法以及预处理获得帧差特征；将帧差特征与表观特征相乘获得动作激励特征；将动作激励特征和表观特征相加获得行人特征。
[0011]在上述技术方案中，使用简单的特征帧差的方式，代替传统的计算光流的方式，避免了大量的额外计算量。采用简单的特征帧差方式生成动作信息，并将动作信息作为一种外观信息的激励来处理。
[0012]在一些实施例中，所述深度残差网络分别提取视频数据中行人的空间信息、时序信息；以及，采用空间信息和时序信息对行人特征进行精炼，获得包含时空关系的行人特征，具体包括：对行人特征进行维度一半的降维操作，将特征分为时间和空间两部分，分别进行时序特征和空间特征的抽取；在时间部分，对输入的特征进行矩阵变换后进行3D卷积、批量标准化、激活函数激活、矩阵变换和平均后获得时间特征；在空间部分，对输入的特征进行2D卷积、批量标准化、激活函数激活和平均后获得空间特征；将空间特征和时间特征进行拼接，获得包含时空关系的行人特征。
[0013]在上述技术方案中，分别利用2D卷积和3D卷积提取空间信息和时序信息，进一步地精炼了当前的特征表示。对于特征分别从时序和空间两个维度进行进一步的提炼，从而获得更加具有判别力的特征表示。
[0014]在一些实施例中，所述将包含时空关系的行人特征输入深度残差网络进行训练获取深度残差网络模型，包括：将包含时空关系的行人特征输入深度残差网络进行训练；通过交叉熵损失的损失函数、困难样本挖掘的三元组损失函数和随机梯度下降算法对深度残差网络进行参数更数，并采用经参数更新后的深度残差网络通过有限次数的迭代对深度残差网络模型进行训练更新。
[0015]在上述技术方案中，整个网络损失函数为交叉熵损失函数xent和基于困难样本的三元组损失函数htri；参数更新采用随机梯度下降算法。其中，交叉熵损失函数xent用于计算行人ID的分类损失，而基于困难样本挖掘的三元组损失函数htri用于减少类内差异的同时，增加了类间差异。该种组合方式能够有效提高本案提出的模型的精确度。
[0016]在一些实施例中，所述将包含时空关系的行人特征输入深度残差网络进行训练获取深度残差网络模型，包括：对包含时空关系的行人特征进行随机帧特征擦除后，输入深度
残差网络进行训练；通过交叉熵损失的损失函数、困难样本挖掘的三元组损失函数和随机梯度下降算法对深度残差网络进行参数更数，并采用经参数更新后的深度残差网络通过有限次数的迭代对深度残差网络模型进行训练更新。
[0017]在上述技术方案中，视频行人重识别数据集由于多帧的特性，有着更加丰富信息的同时，也存在着如何挑选有效信息及避免多个视频帧内冗余信息的问题。在视频行人重识别任务中，图像序列能提供的外观信息基本一致。而目前大多数视频行人重识别算法往往在多帧特征聚合时，简单地使用平均聚合，这就可能导致，某一视频关键帧提取出的关键特征在平均操作中由于仅出现一次，而被平均操作进行了平滑处理，导致关键特征变得不再关键，进而使得最终生成的行人特征表示的判别力下降。所以在模型训练中为了充分利用到这些可能的关键特征，在数据集未给定明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动作激励的时空特征擦除视频行人重识别方法，其特征在于，包括：获取包含多个动作的行人视频数据；构建基于行人视频数据的深度残差网络模型；采用基于动作激励和时空特征的深度残差网络对深度残差网络模型进行训练，并利用训练后的深度残差网络模型进行视频行人重识别。2.如权利要求1所述的一种基于动作激励的时空特征擦除视频行人重识别方法，其特征在于，所述采用基于动作激励和时空特征的深度残差网络对深度残差网络模型进行训练，包括：深度残差网络分别提取视频数据中行人的表观特征、动作激励特征和空间信息、时序信息，并利用动作激励特征作为激励信息从表观特征中提取出行人特征；采用空间信息和时序信息对行人特征进行精炼，获得包含时空关系的行人特征；将包含时空关系的行人特征输入深度残差网络进行训练获取深度残差网络模型。3.如权利要求2所述的一种基于动作激励的时空特征擦除视频行人重识别方法，其特征在于，所述深度残差网络提取视频数据中行人的表观特征、动作激励特征；以及，所述利用动作激励特征作为激励信息从表观特征中提取出行人特征，具体包括：深度残差网络提取表观特征；对表观特征进行降维获得降维特征，再对降维特征卷积获得卷积降维特征；通过降维特征、卷积降维特征、特征帧差法以及预处理获得帧差特征；将帧差特征与表观特征相乘获得动作激励特征；将动作激励特征和表观特征相加获得行人特征。4.如权利要求2所述的一种基于动作激励的时空特征擦除视频行人重识别方法，其特征在于，所述深度残差网络分别提取视频数据中行人的空间信息、时序信息；以及，采用空间信息和时序信息对行人特征进行精炼，获得包含时空关系的行人特征，具体包括：对行人特征进行维度一半的降维操作，将特征分为时间和空间两部分，分别进行时序特征和空间特征的抽取；在时间部分，对输入的特征进行矩阵变换后进行3D卷积、批量标准化、激活函数激活、矩阵变换和平均后获得时间特征；在空间部分，对输入的特征进行2D卷积、批量标准化、激活函数激活和平均后获得空间特征；将空间特征和时间特征进行拼接，获得包含时空关系的行人特征。5.如权利要求2所述的一种基于动作激励的时空特征擦除视频行人重识别方法，其特征在于，所述将包含时空关系的行人特征输入深度残差网络进行训练获取深度残差网络模型，包括：将包含时空关系的行人特征输入深度残差网络进行训练；通过交叉熵损失的损失函数、困...

【专利技术属性】
技术研发人员：陈颖，黄佑君，叶芳彬，高立超，
申请(专利权)人：厦门身份宝网络科技有限公司，
类型：发明
国别省市：