基于深度学习的混合现实开集人体姿态识别方法技术

一种基于深度学习的混合现实开集人体姿态识别方法，使用基于混合现实的开集人体姿态识别算法的神经网络，通过基于样本数量不平衡问题的决策边界设置训练损失函数，得到训练后的神经网络将从虚拟域中学习到的域不变特征迁移到真实域中指导真实域中进行特征提取，实现混合现实人体姿态识别。本发明专利技术能够在准确识别已知人类活动的同时，检测出训练集中未出现过的未知活动。过的未知活动。过的未知活动。

【技术实现步骤摘要】
基于深度学习的混合现实开集人体姿态识别方法


[0001]本专利技术涉及的是一种可穿戴传感器领域的技术，具体是一种基于可穿戴式传感器设备和深度学习的混合现实开集人体姿态识别方法。

技术介绍

[0002]可穿戴式传感器例如加速度计和陀螺仪等惯性测量单元(Inertial Measurement Units，简称IMU)由于其低廉的价格和灵活性而被广泛应用于人体姿态识别(HumanActivity Recognition，简称HAR)。由于现实生活中会出现各种各样无法预测的未知行为动作，而现有的基于可穿戴式传感器设备的人体姿态识别仅能解决闭集问题，即只能识别训练集中出现过的人类活动，当测试集中出现训练集中未出现过的未知动作姿态时，已有的闭集算法不可避免地会将未知类错误地识别为已知动作中的某一类，这会造成算法精度的大幅下降，鲁棒性降低。因此，如何在仅使用少量有标签数据的情况下，准确识别出人类行为并检测出未知动作成为一个亟待解决的问题。
[0003]现有的自适应图像分类方法无法适用于时序数据的原因在于，时序数据包含了空域与时域两个域的信息，且时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的混合现实开集人体姿态识别方法，其特征在于，使用基于混合现实的开集人体姿态识别算法的神经网络，通过基于样本数量不平衡问题的决策边界设置训练损失函数，得到训练后的神经网络将从虚拟域中学习到的域不变特征迁移到真实域中指导真实域中进行特征提取，实现混合现实人体姿态识别。2.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法，其特征是，所述的混合现实人体姿态识别是指：虚拟域包含N
s
个有标签样本，真实域个有标签样本，真实域包含N
t
个无标签样本，其中：虚拟域D
S
使用的是从动作捕捉数据集AMASS中生成的虚拟数据，其具有大量有标签数据且无需人工打标签，真实域D
t
使用的是从真实人类活动中采集的数据，x为输入的IMU数据，y为相应的标签；虚拟域有K类样本，真实域除了与虚拟域相同的K类样本外还有一类额外的未知类，用符号表示为C
s
＝K，C
t
＝K+1，所以3.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法，其特征是，所述的基于混合现实的开集人体姿态识别算法的神经网络包括：特征生成器G和分类器C，其中：特征生成器G从输入进网络的IMU数据中提取特征，分类器C从G中获取特征并将其分为K+1类，前K类即为训练集和测试集共有的已知人类动作，第K+1类为测试集中出现的未知动作，从而将未知动作与K个已知动作分开，其中p(y|x)表示输入x经过网络后的分类概率：p(y|x)＝C(G(x))。4.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法，其特征是，所述的基于样本数量不平衡问题的决策边界是指：决策边界t随着真实域已知类和未知类样本总体数目信息的改变而改变，当给定的类别的样本数量足够大，则样本的近似重复数量量其中：给定的类别i的样本数量为n
i
，β为控制增长速率的超参且β...

【专利技术属性】
技术研发人员：张紫璇，裴凌，储磊，夏宋鹏程，郁文贤，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：