本发明专利技术涉及一种基于无监督域自适应的步态识别方法及系统。首先获取原始步态剪影序列。利用无监督自适应步态识别网络为无标签的数据分配伪标签，分别采样有标签的源域数据和无标签的目标域数据作为输入数据。利用骨干网络提取输入序列特征，获得源域和目标域的细粒度时空特征。针对每个局部特征，利用全局环境聚合建立时间维度上每个特征间的关联，提取全局特征。利用三元组损失约束每个部位的全局运动模式，采用加权求和方式计算三元组损失。针对每个归一化特征用于初始化和更新混合记忆单元，并在训练过程中对无标签的数据提供监督。本发明专利技术能够从有标签的源域数据中学到知识并迁移到目标域中，有效实现在无标签数据上的高精度的步态识别。高精度的步态识别。高精度的步态识别。
【技术实现步骤摘要】
一种基于无监督域自适应的步态识别方法及系统
[0001]本专利技术涉及基于一种无监督域自适应的步态识别方法及系统，属于计算机视觉及生物识别
技术介绍
[0002]步态识别，是一种根据个人独特的行走模式进行识别的生物识别技术，它能够从多个不同角度的相机中识别出超过50米的相同身份的行人，无论其穿着如何。近年来，随着深度学习的进展和大量标记数据的可用性，大大促进了步态识别的应用。但是，准确标注大量的数据，仍然是一项艰巨的挑战。尤其是在长距离摄像机下，诸如人脸等关键信息往往是模糊的，这使得标注同一个人在不同服装、视角和携带条件下的步态序列变得极为困难。
[0003]目前，基于无监督自适应的行人重识别方法已经取得了重大进展，其中，最先进的方法往往采用聚类算法从全局特征中为未标记的数据生成伪标签，如k
‑
均值算法、基于密度的聚类算法和最小熵聚类算法。然而，由于步态识别任务和行人重识别任务的数据存在固有差异，将无监督域自适应方法应用到步态识别中仍然存在巨大的挑战。具体而言，行人重识别数据通常包含一些信息性的特征，利用纹理和颜色，这使得无监督重识别任务在没有标签的情况下也存在一些关联。相比之下，步态识别任务的数据采用黑白剪影序列，不包含任何纹理信息，这对无监督任务构成了重大的挑战。另一方面，步态数据存在类内差显著大于类间差的特点，进一步加剧了基于无监督步态识别方法的难度。
[0004]基于无标签数据的步态识别的方法，目前主要分为两类：基于无标签数据的自监督步态识别方法和基于无标签数据的无监督域自适应步态识别方法。其中，基于无标签数据的自监督方法对输入序列进行随机数据增强获得两组输入数据，然后将两组数据同时输入到网络中学习它们之间的差异。基于无标签数据的自监督方法对于步态识别而言任务的目标较为简单，却严重依赖于数据增强的方法。具体而言，从运动力学的角度来看，步态的运动过程十分复杂，包括人体各个肌肉和中枢之间的协调控制，对于不同人而言，由于生长环境和个体基因不同导致肌肉的分布、骨骼结构和运动神经存在个体间的差异。因此，不同场景中同一个人的步态特征相对稳定，不同人之间的步态特征存在差异，数据增强方法无法模拟现实场景中所有的情形。目前，基于无标签数据的自监督方法性能不佳，难以满足现实场景的应用。
[0005]而基于无监督域自适应的步态识别方法，其主要是从有标签的源域数据中学习步态知识，然后利用学习到的知识为无标签的数据分配伪标签。网络从分配伪标签的数据中进一步更新和学习，然后利用新的知识进一步为无标签数据分配伪标签。通过这种不断迭代更新的方式，网络能够不断在无标签的数据上学习。
[0006]为了将步态识别方法应用到在大规模无标签的数据上，或者为满足现实条件下步态识别的应用，迫切需要一种识别准确率较高的步态识别神经网络技术。
技术实现思路
[0007]本专利技术的目的是针对现有技术存在的缺陷和不足，为了解决现有方法由于忽略了对步态识别这一细粒度分类问题的认识，以及由于缺少无监督方法应用在步态识别领域等问题，创造性地提出了一种基于无监督域自适应的步态识别方法及系统。本专利技术能够从有标签的源域数据中学到知识并迁移到目标域中，有效实现在无标签数据上的高精度的步态识别。
[0008]为达到上述目的，本专利技术采用以下技术方案实现：
[0009]一方面，本专利技术提出了一种基于无监督域自适应的步态识别方法，包括以下步骤：
[0010]步骤1：从摄像头处获取原始的步态视频数据，并得无标签的步态剪影序列。
[0011]步骤2：对摄像头获取的步态视频数据统一进行预处理，获得原始的步态剪影序列。
[0012]具体地，数据预处理包括对图像中的人形提取轮廓边缘，以及将人体的中心与图片的中心重合，并将步态图片缩放到统一尺寸大小。
[0013]步骤3：利用无监督自适应步态识别网络为无标签的数据分配伪标签，然后分别采样有标签的源域数据和无标签的目标域数据，作为输入数据。
[0014]步骤4：利用骨干网络提取输入序列的特征，获得源域和目标域的细粒度时空特征。
[0015]具体地，输入序列由连续采样的帧组成，采样数目可以在20帧到40帧之间，相邻帧之间允许存在动作的变化。
[0016]进一步地，骨干网络对源域和目标域的输入序列提取步态特征，包括细粒度运动模式提取和全局环境聚合。
[0017]进一步地，可以利用细粒度运动模式提取，对源域和目标域的数据进行特征提取，获得每个序列的时空特征。
[0018]进一步地，可以利用横向池化，对特征图横向切分为固定数目的特征，然后分别对局部特征进行优化。
[0019]步骤5：针对每个局部特征，利用全局环境聚合来建立时间维度上每个特征之间的关联，进一步提取全局特征。
[0020]其中，全局环境聚合，是指对每个序列的时空特征进行进一步建模，选择鲁棒的全局运动模式，同时去除大量的干扰。
[0021]进一步地，可以采用最大值池化和全局平均池化对特征进行处理，获得最具有表达能力的步态特征。
[0022]步骤6：利用三元组损失约束每个部位的全局运动模式，并采用加权求和的方式计算三元组损失。
[0023]具体地，全局运动模式经过批量归一化将特征映射到高斯球面上，并利用交叉熵损失对每个部位的归一化特征进行约束，然后采用加权求和的方法计算交叉熵损失。
[0024]步骤7：针对每个归一化的特征用于初始化和更新混合记忆单元，并在训练过程中对无标签的数据提供监督。
[0025]具体地，骨干网络提取源域和目标域所有的数据的特征，对于无标签的目标域数据利用聚类算法分配伪标签，然后对于所有标签的数据提取类中心特征初始化混合记忆单
元。
[0026]在网络训练过程中，利用混合记忆单元的特征对采样的数据计算对比损失，并根据采样的特征动态更新混合记忆单元存储的特征。
[0027]最后，利用反向传播算法对步态神经网络的参数进行迭代更新。
[0028]另一方面，为实现本专利技术目的，依据上述方法，本专利技术进一步提出了一种基于无监督域自适应的步态识别系统，包括图像预处理模块，细粒度运动模式提取模块，横向切分模块，全局环境聚合模块，以及混合记忆模块。
[0029]其中，图像预处理模块，用于将步态剪影序列中的每帧图像的尺寸缩放到统一大小；
[0030]细粒度运动模式提取模块，用于提取源域数据和目标域数据的特征，存储从源域数据中学习有用的步态知识，并迁移到目标域中获得正确的伪标签。
[0031]横向切分模块，用于对特征图的高度维度进行水平切分，将完整的步态特征切分为局部的特征，从而对每个局部特征进行约束；
[0032]全局环境聚合模块，用于对每个部位提取全局的时空特征，并利用最大值池化和全局平均池化在时间维度上选择鲁棒的运动模式。
[0033]混合记忆模块，用于存储源域数据和目标域数据的类中心特征，对源域数据和目标域数据进行监督。
[0034]上本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于无监督域自适应的步态识别方法，其特征在于，包括以下步骤：步骤1：从摄像头处获取原始的步态视频数据，并得无标签的步态剪影序列；步骤2：对摄像头获取的步态视频数据统一进行预处理，获得原始的步态剪影序列；其中，数据预处理包括对图像中的人形提取轮廓边缘，以及将人体的中心与图片的中心重合，并将步态图片缩放到统一尺寸大小；步骤3：利用无监督自适应步态识别网络为无标签的数据分配伪标签，然后分别采样有标签的源域数据和无标签的目标域数据，作为输入数据；步骤4：利用骨干网络提取输入序列的特征，获得源域和目标域的细粒度时空特征；步骤5：针对每个局部特征，利用全局环境聚合来建立时间维度上每个特征之间的关联，进一步提取全局特征；其中，全局环境聚合，是指对每个序列的时空特征进行进一步建模，选择鲁棒的全局运动模式，同时去除干扰；步骤6：利用三元组损失约束每个部位的全局运动模式，并采用加权求和的方式计算三元组损失；步骤7：针对每个归一化的特征用于初始化和更新混合记忆单元，并在训练过程中对无标签的数据提供监督；在网络训练过程中，利用混合记忆单元的特征对采样的数据计算对比损失，并根据采样的特征动态更新混合记忆单元存储的特征；最后，利用反向传播算法对步态神经网络的参数进行迭代更新。2.如权利要求1所述的一种基于无监督域自适应的步态识别方法，其特征在于，步骤2中，输入序列由连续采样的帧组成，采样数目在20帧到40帧之间，相邻帧之间允许存在动作的变化。3.如权利要求1所述的一种基于无监督域自适应的步态识别方法，其特征在于，步骤2中，骨干网络对源域和目标域的输入序列提取步态特征，包括细粒度运动模式提取和全局环境聚合。4.如权利要求1所述的一种基于无监督域自适应的步态识别方法，其特征在于，步骤2中，利用细粒度运动模式提取，对源域和目标域的数据进行特征提取，获得每个序列的时空特征。5.如权利要求1所述的一种基于无监督域自适应的步态识别方法，其特征在于，步骤2中，利用横向池化，对特征图横向切分为固定数目的特征，然后分别对局部特征进行优化。6.如权利要求4所述的一种基于无监督域自适应的步态识别方法，其特征在于，细粒度运动模式提取包括特征提取和横向切分；细粒度运动模式提取由循环时移卷积组成，对于步态特征V而言，细粒度运动模式提取由循环时移卷积组成，对于步态特征V而言，对于特征维度C划分为s个部分，v
i
表示其中每个部分的特征，表示实数域，C表示通道数目，T表示采样的帧数，H表示特征的高度，W表示特征的宽度；对于特征维度C划分为s个部分，然后对每个部分的特征进行循环移位；
其中，表示向右循环移位的第一部分的特征，表示第一部分的时域维度上第T个特征，表示向左循环移位的第二部分的特征，表示第二部分的时域维度上第T个特征；对于v1、v2分别沿着时间维度执行右移和左移操作，右移时对于最后一帧的特征补充到第一帧中，左移时将第一帧特征补充到最后一帧中；利用循环时移卷积能够使用2D卷积完成对时序特征的提取。7.如权利要求1所述的一种基于无监督域自适应的步态识别方法，其特征在于，步骤5中，采用最大值池化和全局平均池化对特征进行处理，获得最具有表达能力的步态特征；其中，最大值池化层采用特殊设计1
×2×
2的步长，该池化方式仅对特征图的宽度维度进行池化；横向切分对步态特征图沿着高...
【专利技术属性】
技术研发人员：付莹，马康，郑德智，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。