一种针对行为识别的基于自监督少样本学习的动作序列分割方法技术

本发明专利技术属于传感器动作识别技术领域，公开一种针对行为识别的基于自监督少样本学习的动作序列分割方法，包括：构建自监督的少样本动作序列分割框架SFTSeg；该框架基于孪生神经网络，以大量源传感器的标记样本、少量目标传感器的标记样本、目标传感器的未标记样本作为输入数据；分别构建交叉熵损失函数、一致性正则化损失函数和自监督损失函数进行孪生神经网络训练；然后使用训练好的SFTSeg进行状态标签预测及活动分割。本发明专利技术在不同场景的不同传感器下，均有良好活动分割效果，且仅需很少的目标传感器标记样本即可达到良好活动分割效果。果。果。

【技术实现步骤摘要】
一种针对行为识别的基于自监督少样本学习的动作序列分割方法


[0001]本专利技术属于传感器动作识别
，尤其涉及一种针对行为识别的基于自监督少样本学习的动作序列分割方法。

技术介绍

[0002]人类活动识别被认为是许多新兴物联网应用的一个关键方面，如智能家居和医疗保健，其中，活动分割的效果至关重要。在活动分类之前，连续接收的传感器数据通常被细分为子序列(每个对应于单个活动)。并且细分结果将被输入到行为识别的分类模型中。相应地，这些结果对活动分类的性能产生了显著影响。因此，已经开展了大量关于活动分割的研究，包括无监督方法和监督模型。
[0003]对于活动分割任务中的无监督方法：基于CPD(变化点检测)和基于阈值的方法都需要阈值来区分活动边界。然而，最佳阈值需要使用者有丰富的相关经验并且根据实际场景来确定。此外，基于时间形状的方法(如FLOSS)需要给定问题的特定信息来确定时间约束参数，比较受环境依赖。
[0004]对于活动分割任务中的监督方法：虽然可以缓解主观性和环境依赖的问题，但是需要大量的目标传感器标记样本来训练模型，费时费力且受人力环境制约实际情况不一定能达到。

技术实现思路

[0005]本专利技术针对现有关于活动分割的方法比较受环境依赖和需要大量的标记样本来训练模型的问题，提出一种针对行为识别的基于自监督少样本学习的动作序列分割方法，在不同场景的不同传感器下，均有良好活动分割效果，且仅需很少的目标传感器标记样本即可达到良好活动分割效果。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]一种针对行为识别的基于自监督少样本学习的动作序列分割方法，包括：
[0008]步骤1：构建自监督的少样本动作序列分割框架SFTSeg；该框架基于孪生神经网络，以大量源传感器的标记样本、少量目标传感器的标记样本、目标传感器的未标记样本作为输入数据；其中，所述源传感器的标记样本和目标传感器的标记样本对应有四个状态标签，分别为静止状态、开始状态、运动状态和结束状态；所述样本指的是从传感器数据中得出的动作序列；
[0009]步骤2：对于所述源传感器的标记样本，构建交叉熵损失函数进行孪生神经网络训练；
[0010]步骤3：对于所述目标传感器的标记样本，将所述源传感器的标记样本作为扰动，并将该扰动注入所述目标传感器的标记样本中作为增强数据，构建一致性正则化损失函数进行孪生神经网络训练；
[0011]步骤4：基于所述目标传感器的未标记样本构建正样本对和负样本对，并基于此构建自监督损失函数来训练孪生神经网络，以使孪生神经网络能够捕获目标传感器的未标记样本的特征；
[0012]步骤5：通过步骤1
‑
4得到训练好的SFTSeg，将目标传感器的样本作为测试样本输入训练好的SFTSeg，训练好的SFTSeg首先预测测试样本的状态标签，然后根据预测的状态标签对测试样本进行活动分割。
[0013]进一步地，所述步骤3包括：
[0014]按照如下规则构建增强数据：
[0015]A.作为扰动的压缩后的源传感器的标记样本与目标传感器的标记样本具有相同的类别；
[0016]B.根据翘曲路径将压缩后的源传感器的标记样本添加到目标传感器的标记样本中；所述翘曲路径通过动态时间规整算法生成。
[0017]进一步地，所述步骤4包括：
[0018]采用滑动窗口将动作序列离散为固定大小为w的重叠窗口，其中滑动步长为l；
[0019]如果两个窗口符合以下约束条件，则将其视为正样本对：两个窗口相邻；两个窗口包含相同数量的变化点，并且两个窗口的差异不包含任何变化点；
[0020]如果两个窗口符合以下约束条件，则将其视为负样本对：两个窗口的间隔大于给定的最小时间距离；两个窗口包含不同数量的变化点；所述变化点为动作序列行为突然变化的时间点。
[0021]进一步地，所述步骤4还包括：
[0022]对于正样本对，首先计算一个正样本对的差异集的SEP分数，然后根据SEP分数过滤正样本对；
[0023]对于负样本对，将负样本对的每个样本分成h个不相交的部分，然后计算所有两个连续部分的SEP分数，得到负样本对的每个样本的最高SEP分数；然后，根据负样本对的每个样本的最高SEP分数计算负样本对的相异性得分；剔除相异性得分较低的负样本对。
[0024]与现有技术相比，本专利技术具有的有益效果：
[0025]本专利技术提出了自监督的少样本动作序列分割框架SFTSeg来分割动作序列数据上的活动，并使用孪生神经网络实现少样本学习和分类。以往的活动分割方法，往往基于相同传感器，本专利技术能够实现利用源传感器数据增强目标传感器数据的识别准确率，并能达到使用很少的目标传感器标记样本就可以实现很好的活动分割和识别效果。实现少样本活动分割技术，并采用孪生神经网络作为少样本学习的主要实现方法。本专利技术针对三种不同的数据，分别设计了不同的损失函数来增强训练效果：针对源传感器的标记样本，构建交叉熵损失函数强制输入样本至相应的类别；为了增强对目标传感器数据的泛化能力，引入了一致性正则化方法，将源传感器的标记样本作为扰动，并将该扰动作为增强数据注入目标传感器的标记样本中，来利用有限的目标传感器的标记样本进行模型训练；为了缓解源域和目标域之间的大量偏移，引入自监督学习，基于目标传感器的未标记样本构建正样本对和负样本对来训练孪生神经网络，使孪生神经网络能够捕获目标数据的特征。
[0026]本专利技术解决了活动分割任务中无监督方法(如基于变化点检测和基于阈值)的环境依赖和设计人员主观性的问题，在不同场景的不同传感器下，均有良好活动分割效果。本
专利技术还解决了活动分割任务中监督方法需要大量目标传感器标记数据(高成本且受各种条件制约)的问题，实现了仅需很少的目标传感器标记样本即可达到良好活动分割效果。
附图说明
[0027]图1为一个动作序列提取出的四种运动状态示例图；
[0028]图2为本专利技术实施例一种针对行为识别的基于自监督少样本学习的动作序列分割方法的流程示意图；
[0029]图3为环绕和最短路径的差异示例图；
[0030]图4为从动作序列中提取的正(负)样本对示例图；
[0031]图5为活动开始点检测示例图；
[0032]图6为不同大小标记目标数据的分割性能(F1
‑
score)折线图。
具体实施方式
[0033]下面结合附图和具体的实施例对本专利技术做进一步的解释说明：
[0034]活动分割旨在确定活动的开始和结束时间，这是人类活动识别的第一步。由于难以从目标传感器收集大量标记数据，因此广泛采用无监督方法进行活动分割，例如基于CPD的方法和基于阈值的方法。然而，这些方法都面临着经验和环境依赖的问题。因此，我们通过以下步骤将活动分割任务转化为分类问题：(1)首先将连续时间序列数据离散化为大小相等的窗口；(2)然后将每个窗口分为四个状态类别：静止状态、开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对行为识别的基于自监督少样本学习的动作序列分割方法，其特征在于，包括：步骤1：构建自监督的少样本动作序列分割框架SFTSeg；该框架基于孪生神经网络，以源传感器的标记样本、目标传感器的标记样本、目标传感器的未标记样本作为输入数据；其中，所述源传感器的标记样本和目标传感器的标记样本对应有四个状态标签，分别为静止状态、开始状态、运动状态和结束状态；所述样本指的是从传感器数据中得出的动作序列；步骤2：对于所述源传感器的标记样本，构建交叉熵损失函数进行孪生神经网络训练；步骤3：对于所述目标传感器的标记样本，将所述源传感器的标记样本作为扰动，并将该扰动注入所述目标传感器的标记样本中作为增强数据，构建一致性正则化损失函数进行孪生神经网络训练；步骤4：基于所述目标传感器的未标记样本构建正样本对和负样本对，并基于此构建自监督损失函数来训练孪生神经网络，以使孪生神经网络能够捕获目标传感器的未标记样本的特征；步骤5：通过步骤1
‑
4得到训练好的SFTSeg，将目标传感器的样本作为测试样本输入训练好的SFTSeg，训练好的SFTSeg首先预测测试样本的状态标签，然后根据预测的状态标签对测试样本进行活动分割。2.根据权利要求1所述的一种针对行为识别的基于自监督少样本学习的动作序列分割方法，其特征在于，所述步骤3...

【专利技术属性】
技术研发人员：肖春静，陈世名，韩艳会，康红霞，王一凡，
申请(专利权)人：河南大学，
类型：发明
国别省市：