一种基于时频对比学习的自监督人体行为识别方法技术

一种基于时频对比学习的自监督人体行为识别方法，所述基于时频对比学习的自监督人体行为识别方法包括以下步骤：步骤一

【技术实现步骤摘要】
一种基于时频对比学习的自监督人体行为识别方法


[0001]本专利技术涉及一种自监督人体行为识别技术的改进，属于人体行为识别领域，尤其涉及一种基于时频对比学习的自监督人体行为识别方法
。

技术介绍

[0002]在
HAR
任务中，由于传感器采集到的数据受用户的运动习惯
、
性别
、
设备噪声误差等因素的影响，传感器关于相同动作的信号在不同时间段
、
不同设备
、
不同用户上的表现形式是不完全一致的
。
识别同一动作的不同数据时，类内特征不一致问题不可避免
。
尽管传感器采集到的数据具有不一致性，且这种情况无法避免，但我们仍希望所提取的特征尽可能一致
。
然而，现有方法将所有输入数据信息映射到高级表示中，如果学习的特征包含冗余噪声以及不相关表示，那么这种特征所携带信息将大打折扣，而现有的自监督技术中标签数据需要进行分工标注，非常的耗时耗力
。
[0003]申请号为
CN202110274189.3
，申请日为
2021
年3月
15
日的中国专利申请揭示了一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，包括以下步骤：步骤
S1
：搭建基于粗粒度信号的被动式人体行为识别方法系统；步骤
S2
：采集人体不同行为下的粗粒度信号数据；步骤
S3
：进行样本集构造与信号预处理；步骤
S4
：构造基于粗粒度信号的人体行为浅层特征向量；步骤
S5
：构建深度学习模型；步骤
S6
：构建集成学习模型；步骤
S7
：利用传感信号序列实现行为的识别；但是对比文件中并没有解决标签数据需要进行分工标注，耗时耗力的问题
。
[0004]公开该
技术介绍
部分的信息仅仅旨在增加对本专利申请的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术
。

技术实现思路

[0005]本专利技术的目的是克服现有技术中存在标签数据需要进行分工标注的问题，提供了标签数据不需要进行分工标注的一种基于时频对比学习的自监督人体行为识别方法
。
[0006]为实现以上目的，本专利技术的技术解决方案是：一种基于时频对比学习的自监督人体行为识别方法，所述基于时频对比学习的自监督人体行为识别方法包括以下步骤：
[0007]步骤一
、
首先将传感器佩戴在人体各个部位，然后获取原始的无标签的传感器数据段，再对数据段进行数据增强，得到增强后的无标签的传感器数据段；
[0008]步骤二
、
对增强后的无标签的传感器数据段进行自监督训练，得到合适权重的
TCN
编码器；
[0009]步骤三
、
对合适权重的
TCN
编码器进行测试，得到传感器各个数据段的动作标签，一个动作标签对应一个动作，重复上述步骤，得到一个时间段的所有动作标签，通过一个时间段的所有动作标签从而识别人体行为动作
。
[0010]所述步骤三中对合适权重的
TCN
编码器进行测试具体为：冻结
TCN
编码器的权重，
并将其迁移到下游的人体行为识别任务中，下游的人体行为识别任务通过使用该
TCN
编码器，可以在不使用标签数据或标签数据的情况下的完成人体行为识别的分类任务
。
[0011]所述步骤二中得到合适权重的
TCN
编码器具体为：首先提取
TCN
编码数据的幅值和相位信息，通过对比损失计算孪生网络中幅值和相位的损失值，根据得到的损失值反向传播更新
TCN
编码器的网络权重
。
[0012]所述提取
TCN
编码数据的幅值和相位信息采用时域趋势提取器，时序趋势提取器计算时间窗内任意两个时间步长的关系，以捕获输入时间序列的全局信息；每个时间窗口有三个线性变换，具体如下：
[0013]Q
＝
L(X
e
)
＝
X
e
·
W
Q
[0014]K
＝
L(X
e
)
＝
X
e
·
W
K
[0015]V
＝
L(X
e
)
＝
X
e
·
W
V
；
[0016]其中，
L
表示线性变换的函数，
W
Q
，
W
K
和
W
V
是对应的权重矩阵
Q
，
K
和
V
，是自注意力层的隐藏维度，为了使模型聚焦于来自不同潜在空间的信息，采用了多头自注意力机制，
Q
，
K
和
V
被使用不同的矩阵投影
n
次，单头注意力的输出公式为：
[0017][0018]其中
d
k
＝
d
a
/n
表示单个头的隐藏尺寸，通过连接和投影
n
个单头输出可以获得多头自注意力的最终结果
c
：
[0019]c
＝
W
o
·
[h1，
…
，
h
n
‑1，
h
n
]；
[0020]给定编码输出
X
e
，首先将中的
X
e
个时间步转化为向量其中，
t
＜
w
，自注意力层计算任意两个的内在时间序列的元素相关性，接下来，将输入到自注意力层获得输出向量
c
t
，使用
c
t
预测未来的时间步骤，公式计算如下：
[0021][0022]其中，
W
a
是线性变换的投影矩阵，是需要预测的未来时间步，孪生网络和产生两个流的输出用以形成对比视图，使用一个流的输出视图来预测另一个视图的未来时间步长反之亦然，引入相似性对比损失以最大化预测序列和真实序列之间的表示相似性，同时最小化批样本内其他表示对的相似度
。
[0023]所述相似度计算公式如下：
[0024][0025][0026]相似性对比损失可以计算为：
[0027]L
time
＝
L1，2+L2，1。...

【技术保护点】

【技术特征摘要】
1.
一种基于时频对比学习的自监督人体行为识别方法，其特征在于
:
所述基于时频对比学习的自监督人体行为识别方法包括以下步骤：步骤一
、
首先将传感器佩戴在人体各个部位，然后获取原始的无标签的传感器数据段，再对数据段进行数据增强，得到增强后的无标签的传感器数据段；步骤二
、
对增强后的无标签的传感器数据段进行自监督训练，得到合适权重的
TCN
编码器；步骤三
、
对合适权重的
TCN
编码器进行测试，得到传感器各个数据段的动作标签，一个动作标签对应一个动作，重复上述步骤，得到一个时间段的所有动作标签，通过一个时间段的所有动作标签从而识别人体行为动作
。2.
根据权利要求1所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述步骤三中对合适权重的
TCN
编码器进行测试具体为：冻结
TCN
编码器的权重，并将其迁移到下游的人体行为识别任务中，下游的人体行为识别任务通过使用该
TCN
编码器，可以在不使用标签数据或标签数据的情况下的完成人体行为识别的分类任务
。3.
根据权利要求1所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述步骤二中得到合适权重的
TCN
编码器具体为：首先提取
TCN
编码数据的幅值和相位信息，通过对比损失计算孪生网络中幅值和相位的损失值，根据得到的损失值反向传播更新
TCN
编码器的网络权重
。4.
根据权利要求3所述的一种基于时频对比学习的自监督人体行为识别方法，其特征在于：所述提取
TCN
编码数据的幅值和相位信息采用时域趋势提取器，时序趋势提取器计算时间窗内任意两个时间步长的关系，以捕获输入时间序列的全局信息；每个时间窗口有三个线性变换，具体如下：
Q
＝
L(X
e
)
＝
X
e
·
W
O
K
＝
L(X
e
)
＝
X
e
·
W
K
V
＝
L(X
e
)
＝
X
e
·
W
V
；其中，
L
表示线性变换的函数，
W
Q
，
W
K
和
W
V
是对应的权重矩阵
Q
，
K
和
V
，是自注意力层的隐藏维度，为了使模型聚焦于来自不同潜在空间的信息，采用了多头自注意力机制，
Q
，
K
和
V
被使用不同的矩阵投影
n
次，单头注意力的输出公式为：其中
d
k
＝
d
a
/n
表示单个头的隐藏尺寸，通过连接和投影
n
个单头输出可以获得多头自注意力的最终结果
c
：
c
＝
W
o
·
[h1，
…
，
h
n
‑1，
h
n
]
；给定编码输出
X
e
...

【专利技术属性】
技术研发人员：徐旭，黄珍珍，肖硕，陈曦，唐朝刚，江海峰，
申请(专利权)人：徐州市第一人民医院，
类型：发明
国别省市：