一种基于时频对比学习的自监督人体行为识别方法技术

一种基于时频对比学习的自监督人体行为识别方法，所述基于时频对比学习的自监督人体行为识别方法包括以下步骤：步骤一

【技术实现步骤摘要】
一种基于时频对比学习的自监督人体行为识别方法


[0001]本专利技术涉及一种自监督人体行为识别技术的改进，属于人体行为识别领域，尤其涉及一种基于时频对比学习的自监督人体行为识别方法
。

技术介绍

[0002]在
HAR
任务中，由于传感器采集到的数据受用户的运动习惯
、
性别
、
设备噪声误差等因素的影响，传感器关于相同动作的信号在不同时间段
、
不同设备
、
不同用户上的表现形式是不完全一致的
。
识别同一动作的不同数据时，类内特征不一致问题不可避免
。
尽管传感器采集到的数据具有不一致性，且这种情况无法避免，但我们仍希望所提取的特征尽可能一致
。
然而，现有方法将所有输入数据信息映射到高级表示中，如果学习的特征包含冗余噪声以及不相关表示，那么这种特征所携带信息将大打折扣，而现有的自监督技术中标签数据需要进行分工标注，非常的耗时耗力
。
[0003]申请号为
CN20211027418本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时频对比学习的自监督人体行为识别方法，其特征在于
:
所述基于时频对比学习的自监督人体行为识别方法包括以下步骤：步骤一
、
首先将传感器佩戴在人体各个部位，然后获取原始的无标签的传感器数据段，再对数据段进行数据增强，得到增强后的无标签的传感器数据段；步骤二
、
对增强后的无标签的传感器数据段进行自监督训练，得到合适权重的
TCN
编码器；步骤三
、
对合适权重的
TCN
编码器进行测试，得到传感器各个数据段的动作标签，一个动作标签对应一个动作，重复上述步骤，得到一个时间段的所有动作标签，通过一个时间段的所有动作标签从而识别人体行为动作
。2.
根据权利要求1所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述步骤三中对合适权重的
TCN
编码器进行测试具体为：冻结
TCN
编码器的权重，并将其迁移到下游的人体行为识别任务中，下游的人体行为识别任务通过使用该
TCN
编码器，可以在不使用标签数据或标签数据的情况下的完成人体行为识别的分类任务
。3.
根据权利要求1所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述步骤二中得到合适权重的
TCN
编码器具体为：首先提取
TCN
编码数据的幅值和相位信息，通过对比损失计算孪生网络中幅值和相位的损失值，根据得到的损失值反向传播更新
TCN
编码器的网络权重
。4.
根据权利要求3所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述提取
TCN
编码数据的幅值和相位信息采用时域趋势提取器，时序趋势提取器计算时间窗内任意两个时间步长的关系，以捕获输入时间序列的全局信息；每个时间窗口有三个线性变换，具体如下：
Q
＝
L(X
e
)
＝
X
e
·
W
O
K
＝
L(X
e
)
＝
X
e
·
W
K
V
＝
L(X
e
)
＝
X
e
·
W
V
；其中，
L
表示线性变换的函数，
W
Q
，
W
K
和
W
V
是对应的权重矩阵
Q
，
K
和
V
，是自注意力层的隐藏维度，为了使模型聚焦于来自不同潜在空间的信息，采用了多头自注意力机制，
Q
，
K
和
V
被使用不同的矩阵投影
n
次，单头注意力的输出公式为：其中
d
k
＝
d
a
/n
表示单个头的隐藏尺寸，通过连接和投影
n
个单头输出可以获得多头自注意力的最终结果
c
：
c
＝
W
o
·
[h1，
…
，
h
n
‑1，
h
n
]
；给定编码输出
X
e
...

【专利技术属性】
技术研发人员：徐旭，黄珍珍，肖硕，陈曦，唐朝刚，江海峰，
申请(专利权)人：徐州市第一人民医院，
类型：发明
国别省市：