一种基于有限监督信息的联合学习步态表征方法技术

本发明专利技术公开了一种基于有限监督信息的联合学习步态表征方法，属于深度学习和模式识别技术领域；提出一种同时利用半监督和自监督学习，联合学习步态时空特征表示的新方法，包含两个主要的分支：1)半监督分支中，通过在输入的步态序列中引入序列级形态学扰动，增加数据的多样性，并利用Mean Teacher架构学习鲁棒的特征表示；2)自监督分支中，定义了两个与步态识别任务相关的辅助任务，包括管道掩码重建和片段顺序预测，以加强网络学习相关性特征的能力。本发明专利技术方法将半监督和自监督学习应用于步态识别任务的工作，能够从有限的被标注的步态序列中学习特定的任务特征，并从未被标注的数据中挖掘出强大的通用特征，识别性能得到显著提升。提升。提升。

【技术实现步骤摘要】
一种基于有限监督信息的联合学习步态表征方法


[0001]本专利技术属于深度学习和模式识别
，具体涉及一种基于有限监督信息的联合学习步态表征方法。

技术介绍

[0002]步态是一种独特的生物识别特征，步态识别的基本任务是从人体行走时的时间变化中学习互异的不变性特征，其不需要高分辨率的图像，可以远距离，在被识别者毫无感知的情况下进行步态分析。因此，步态识别在安防监控，预防犯罪，维护社会公共安全方面起着关键的作用。然而，在现实世界的场景中，常会受到例如障碍物的遮挡，行人穿大衣和背包，识别时视角的变化等协变量因素的影响，使它们存在较大的对象内差异，这往往会对步态识别的性能带来巨大影响。
[0003]大量基于深度学习的步态识别方法为缓和上述问题提供了有效的解决方案，一类是基于模型的方法，基于模型的方法通过提取人类行走时的姿势信息和身体骨架结构来完成识别任务，但是其难以从远距离采集到的低像素步态图像中检测身体的关键点；另一类是基于外观的方法，也称为基于整体或无模型的方法，如将所有步态轮廓序列压缩成单个步态模版，但是压缩过程中会丢失大量的时间信息和细粒度的空间信息。几乎所有的方法都依赖于标注好的步态序列数据，对大量步态序列进行标注是一个繁琐的任务，它不仅需要消耗大量专家的时间和精力，而且在标注过程中，标注者之间的差异又会在步态数据中引入不确定性。为了减轻对有标签步态数据的依赖，当务之急是开发出只使用少量或不使用标签数据的步态识别算法。
[0004]半监督学习是一类试图从大量无标签和少量有标签的样本中学习表征的算法，它通常假设这些数据是从相同或相似的分布中取样得到的，其中伪标签和一致性正则化损失是两种重要的半监督学习方法。伪标签的方法利用神经网络在有标签的数据上进行训练，首先提取无标签数据的特征，然后用聚类的方法归纳出近似的类别后，再为其分配伪标签。这种方法的一个关键性问题是无标签数据的类别数通常是未知的，所以很难为聚类算法设置合适的超参数，其性能往往不如一致性正则化损失方法。一致性正则化损失用来衡量未标记数据在受到扰动的情况下，模型预测结果之间的差异，常见的方法包括ΠModel、Temporal Ensemble、Mean Teacher。目前，在步态识别任务中，大量的工作都是在有监督数据下完成的，但随着步态数据的不断积累，数据标注带来耗时耗力的问题开始显现，所以使用半监督学习完成识别任务就显得更加重要。
[0005]自监督学习是无监督学习的一种新范式，通过定义各种各样的辅助任务，可以学习未标注数据的固有结构，从中捕获更丰富的高级语义信息。对于图像数据，常见的辅助任务包括预测图像补丁的相对位置，重建缺失的像素区域，对灰度图像进行着色等。与图像数据相比，视频数据的特殊属性是时间维度上的信息，一些工作也常将帧的顺序预测，顺序验证，应用跟踪来捕捉移动物体的外观变化等作为辅助任务来探索无标签视频数据的特征表示。这些辅助任务没有直接使用语义标签，但它们提供了有效的监督信号。在步态识别任务
中，基于外观的方法对视角变化、服装变化、遮挡、携带条件等协变量因素非常敏感，因此如何利用自监督学习方法设计一个有效应对这些协变量因素的辅助任务成为重要的挑战。
[0006]因此，亟需基于现有深度学习的方法，设计开发出一种只使用少量或不使用标签数据的步态识别算法，在减少依赖于大量标注数据的基础上，提升识别精度。

技术实现思路

[0007]本专利技术的目的是：解决现有技术中存在的问题，提供一种基于有限监督信息的联合学习步态表征方法，同时利用半监督和自监督学习联合学习步态时空特征表示，并在此基础上建立一个端到端的步态识别框架，可以关注步态的全局视觉信息，并且能够注意到局部区域的细节；分别在半监督分支模型中引入形态学扰动、自监督分支模型中构建辅助任务，能够从大量未被标注的步态数据中获得更丰富的深层次本质特征，提升识别精度。
[0008]为实现上述目的，本专利技术采用了以下技术方案：一种基于有限监督信息的联合学习步态表征方法，包括以下步骤：
[0009]S1、构建输入数据与输出数据之间在网络中的关系：
[0010]给定一个长度为k的步态轮廓序列式中，其中h和w分别表示帧的高度和宽度，表示特征矩阵，并将作为输入数据；
[0011]假设N个候选主体定义为y
i
,i∈1,2,
…
,N，其中y
i
是第i个主体，则输出数据表示为一个n维的向量：式中，即属于y
i
的可能性；进一步假设y是输入数据的身份ID，y表述为：
[0012][0013]S2、优化半监督分支模型：
[0014]基于半监督的损失优化模型student模型f(x,θ,η)和teacher模型f(x,θ
′
,η
′
)，在模型中增加序列级形态学扰动，从上述步骤S1中得到的步态轮廓序列中随机选择出μ帧步态轮廓图，其中μ是一个超参数，对于被选出的μ帧步态图，采用形态学的扰动方案，首先对轮廓图进行边缘检测，检测出轮廓边缘上的像素点，随后按一定概率随机的丢弃掉其轮廓边缘上的像素点，或在像素点的邻域上增加新的像素值，新像素值的取值应为其邻域像素的平均值，获得优化后的半监督分支模型；
[0015]S3、在自监督分支模型中构建和步态识别任务高度相关的辅助任务：
[0016]1)管道掩码重建：模拟现实场景中被识别主体被障碍物遮挡而缺失关键信息的情况，沿时间维度遮盖掉步态帧相同区域的像素后进行重建，使模型学习到高层次的语义信息；
[0017]管道掩码重建的具体步骤包括：1)步态片段：采用步长为τ的时间采样策略从步态轮廓序列中抽取一个由n个帧组成的片段记为c，采样步态片段数据；2)管道掩码：使用管道掩码策略，分别在CASIA
‑
B和OUMVLP两个数据集上设定步长τ的数值，根据步长τ的设定数值将片段数据c切分为多个非重叠的立方体；3)token嵌入：每个立方体用token嵌入方法进行编码，并将每个token映射到通道维度；4)重建步态片段：使用高遮蔽率的策略丢弃掉部分立方体，将未遮蔽的立方体作为基础模块的输入进行训练，最后通过网络训练得到的
Teacher架构提高训练模型的鲁棒性和泛化性。
[0031]3)本专利技术方法中的自监督分支中，设计了两个与步态识别任务高度相关的辅助任务：1)管道掩码重建：沿着时间维度，遮盖掉步态帧相同区域的像素后进行重建，可以模拟现实场景中识别主体被障碍物遮挡而缺失关键信息的情况。2)片段顺序预测：对由多个帧组成的步态片段随机打乱，然后预测原始的正确顺序可以学习步态序列的时间维度信息。通过这两个辅助任务，模型可以从空间和时间两个维度自适应的学习到关键特征。
附图说明
[0032]图1为本专利技术方法的原理流程图；
[0033]图2为本专利技术方法与常规方法对比的掩码策略对比图；
[0034]图3为本专利技术方法中管道掩码重建任务的任务流程图；
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有限监督信息的联合学习步态表征方法，其特征在于：包括以下步骤：S1、构建输入数据与输出数据之间在网络中的关系：给定一个长度为k的步态轮廓序列式中，其中h和w分别表示帧的高度和宽度，表示特征矩阵，并将作为输入数据；假设N个候选主体定义为y
i
,i∈1,2,...,N，其中y
i
是第i个主体，则输出数据表示为一个n维的向量：式中，即属于y
i
的可能性；进一步假设y是输入数据的身份ID，y表述为：S2、优化半监督分支模型：基于半监督的损失优化模型student模型f(x,θ,η)和teacher模型f(x,θ
′
,η
′
)，在模型中增加序列级形态学扰动，从上述步骤S1中得到的步态轮廓序列中随机选择出μ帧步态轮廓图，其中μ是一个超参数，对于被选出的μ帧步态图，采用形态学的扰动方案，首先对轮廓图进行边缘检测，检测出轮廓边缘上的像素点，随后按一定概率随机的丢弃掉其轮廓边缘上的像素点，或在像素点的邻域上增加新的像素值，新像素值的取值应为其邻域像素的平均值，获得优化后的半监督分支模型；S3、在自监督分支模型中构建和步态识别任务高度相关的辅助任务：1)管道掩码重建：模拟现实场景中被识别主体被障碍物遮挡而缺失关键信息的情况，沿时间维度遮盖掉步态帧相同区域的像素后进行重建，使模型学习到高层次的语义信息；管道掩码重建的具体步骤包括：1)步态片段：采用步长为τ的时间采样策略从步态轮廓序列中抽取一个由n帧组成的片段记为c，采样步态片段数据；2)管道掩码：使用管道掩码策略，分别在CASIA
‑
B和OUMVLP两个数据集上设定步长τ的数值，根据步长τ的设定数值将片段c切分为多个非重叠的立方体；3)token嵌入：每个立方体用token嵌入方法进行编码，并将每个token映射到通道维度；4)重建步态片段：使用高遮蔽率的策略丢弃掉部分立方体，将未遮蔽的立方体作为基础模块的输入进行训练，最后通过网络训练得到的遮蔽特征图和可学习的掩码tokens一起重建被丢弃的立方体；2)片段顺序预测：将原始步态序列打乱顺序，采用步态帧组成的片段对步态序列的顺序预测，顺序预测的具体步骤包括：1)先从完整的步态序列中均匀采样N个有序的片段组成一个元组C＝<c1,c2,...,c
n
>，其中n是帧的数量，随机打乱元组C中片段的顺序后，元组C作为输入被送入神经网络中学习高级语义特征，输出不同顺序的概率分布，真实的顺序将被作为目标进行训练优化；S4、将半监督分支模型和自监督分支模型联合建立在步态识别网络GaitGL上，进行优化训练得到联合损失函数：步态识别网络GaitGL中用于特征提取的基础组件采用R(2+1)D结构，包括M
i
个尺寸为N
i
‑1×1×
d
×
d的二维卷积核和N
i
个尺寸为M
i
×
t
×
d
×
d的一维卷积核；联合损失函数的公式为：L
total
＝L
tri
+λ
con...

【专利技术属性】
技术研发人员：胡传平，奚昊，任楷，李永强，陈朋朋，朱思腾，许英奇，
申请(专利权)人：郑州大学，
类型：发明
国别省市：