一种面向可穿戴传感器的人类活动识别方法技术

本发明专利技术公开了一种面向可穿戴传感器的人类活动识别方法，首先，将感知的时序异构数据形成指纹矩阵并将按滑动窗口的大小进行切分后的数据作为模型输入，然后通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征，之后以注意力机制层对先前的粗粒度特征进行重要度计算，以便获得能够反映活动特性的细粒度特征，最后用分类的逻辑回归处理细粒度特征，获得当前数据的多个标签的概率分布，从而最终判定活动类型。本发明专利技术提高了可穿戴传感器对用户活动的认知能力，可以对用户活动进行精确的识别，提高人机交互能力。

A human activity recognition method for wearable sensors

【技术实现步骤摘要】
一种面向可穿戴传感器的人类活动识别方法
本专利技术涉及智能感知、移动计算及模式识别领域，特别涉及一种面向可穿戴传感器的人类活动识别方法。
技术介绍
人类活动识别是指通过各种传感器感知人体行为数据，然后利用计算机自动检测技术、分析和理解人体各类运动和行为的过程，该技术有着广泛的应用场景，例如智能监控、人机交互、机器人等。近年来，随着内置多种传感器的可穿戴设备的普及，基于可穿戴传感器的接触式人类活动识别可以直接与我们的日常生活息息相关，例如医疗健康监测或健身监测等。因此，面向可穿戴传感器的活动识别成为近年来的研究热点。通常可穿戴传感器是多通道的，所以其感知的数据具有异构、时序的特点，能够体现人的多维度移动特性，因此，面向可穿戴传感器的人类活动识别通常被认为是对异构时序数据的分类问题。针对这一问题，早期一些学者提出基于数据融合的识别方法，即通过分析多通道感知数据的物理特性，然后通过加权平均等方法将多源数据进行融合从而得到一个综合特征，例如，通过融合三轴加速度信息能够得到一个综合加速度值。最后再通过支持向量机(SVM)、随机森林(RF)、隐马尔科夫模型(HMM)等方法对融合的信息进行分类。然而，这类方法属于人工特征提取法，由于不同的人对于同一活动可能会有很大差异，使得这些手工特征很难在复杂的现实环境中得以应用。此外，该方法既没有反映数据时间连续的特性，也不能提取异构数据间的内部特征。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种面向可穿戴传感器的人类活动识别方法。提高了可穿戴传感器对用户活动的认知能力，可作为现实增强的一项辅助技能，提升用户体验感。本专利技术是通过以下技术方案实现的：一种面向可穿戴传感器的人类活动识别方法，该方法包括以下步骤：(1)将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，对感知的数据标识出活动类别的标签；(2)通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；(3)利用Attention机制对粗粒度特征进行重要度计算，获得能够反映活动特性的细粒度特征；(4)通过分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，概率最大的为当前感知数据的活动类型；(5)通过步骤(1)带标签的数据集训练步骤(2)-(4)的网络模型，进而得到最终的分层深度学习模型。进一步的，步骤(1)中的上下文指纹是指通过整合可穿戴传感器感知的人体行为信息使之成为上下文不变特征并且能够用于后续数据处理，所述上下文指纹矩阵F＝(f1,f2,…,fn)用于时序异构数据的表达，其中，fi＝(Accxi,Accyi,Acczi,Gyrxi,Gyryi,Gyrzi,Magxi,Magyi,Magzi,Comi…..)T，fi中的元素为各类可穿戴传感器数值，i为数据采集点。进一步的，步骤(1)中，通过滑动窗口切分数据并利用窗口重叠机制增加数据冗余特性，用每个窗口最后数据帧所属的活动类型标注数据；进一步的，滑动窗口大小设置为1500ms最佳。进一步的，步骤(2)经过双向LSTM模型得到的隐藏状态h＝(h0,h1,…,ht)即为提取的数据粗粒度特征，其中，与是分别由前向LSTM和后向LSTM模型提取的关于数据的粗粒度特征。进一步的，步骤(3)利用Attention机制获取具有活动判别特性的细粒度特征，是指对步骤(2)提取的粗粒度特征，通过Attention机制学习这些特征的权重，从而得到具有特征偏好的细粒度特征，使之能够反映出活动变化时呈现的独有特性。进一步的，步骤(3)中，首先对于粗粒度特征h经过一个非线性变换获得其隐式表达值u，该过程可以表示为：u＝tanh(Wu·h+bu)，在隐式表达的基础上，通过Attention机制要学习一个归一化的能够体现u中各元素的重要性的权重系数向量α，使粗粒度特征中越能体现活动特性的特征得到的权重越大，从而获得细粒度特征。权重系数α的计算表达式为：因此，细粒度特征s可以表示为：进一步的，步骤(4)中，活动类型结果计算为：y＝softmax(wls+bl)。进一步的，步骤(5)中，模型训练中，使用交叉熵损失函数进行评价，当训练过程交叉熵损失函数趋于收敛，则获得最优模型。本专利技术的优点和有益效果为：(1)本专利技术以传感器感知的时间序列异构数据作为原始数据，在对活动特征表达方面，通过分层深度学习模型，更注重区别性更强的细粒度特征提取，此特征能更好地反映活动变化时呈现的独特特征，从而能够提高活动识别的精度。为此，首先构建了上下文指纹矩阵作为模型的输入；其次利用双向LSTM模型提取原始数据的粗粒度特征；再根据Attention机制获得原始数据的细粒度特征表达；最后通过多分类器获得活动识别结果。可以对用户活动进行精确的识别，提高人机交互能力。(2)提高了可穿戴传感器对用户活动的认知能力，可作为现实增强的一项辅助技能，提升用户体验感。(3)本专利技术提供的活动识别方法对现实环境具有较强的鲁棒性，即在复杂环境下，模型也具有较高的识别精度和稳定的识别速度，其具有较强的可移植性。附图说明图1是本专利技术的面向可穿戴传感器的人类活动识别方法的分层深度学习模型结构图；图2双向LSTM模型结构图；图3基于滑动窗口重叠机制数据标注示意图；图4基于OPPORTUNITY数据集分层深度学习模型在不同滑动窗口下活动分类结果示意图。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合具体实施例进一步说明本专利技术的技术方案。实施例一一种面向可穿戴传感器的人类活动识别方法，该方法通过分层深度学习模型获得感知数据的细粒度特征，并通过端到端的方式实现活动识别，其模型结构如图1所示，分为输入层、粗粒度特征提取层、细粒度特征提取层、活动识别输出层。包括以下步骤：(1)首先，将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，作为数据输入；(2)然后，通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；(3)之后，利用Attention机制对先前的粗粒度特征进行重要度计算，以便获得能够反映活动特性的细粒度特征；(4)最后，用分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，从而最终判定活动类型。下面进一步阐述本专利技术的实施方案。其中：步骤(1)，上下文指纹是指通过整合可穿戴传感器感知的人体行为信息使之成为上下文不变特征并且能够用于分层深度学习模型处理。由多通道传感器感知的数据通常是多粒度的，例如，加速度传感器数据反映的是物体的移动速度的变化本文档来自技高网...

【技术保护点】
1.一种面向可穿戴传感器的人类活动识别方法，该方法基于分层深度学习模型，其特征在于：该方法包括以下步骤：/n(1)将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，对感知的数据标识出活动类别的标签；/n(2)通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；/n(3)利用Attention机制对粗粒度特征进行重要度计算，获得能够反映活动特性的细粒度特征；/n(4)通过分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，概率最大的为当前感知数据的活动类型；/n(5)通过步骤(1)带标签的数据集训练步骤(2)-(4)的网络模型，进而得到最终的分层深度学习模型。/n

【技术特征摘要】
1.一种面向可穿戴传感器的人类活动识别方法，该方法基于分层深度学习模型，其特征在于：该方法包括以下步骤：
(1)将可穿戴传感器感知的时序异构数据形成上下文指纹矩阵，并利用滑动窗口重叠机制进行数据标注，对感知的数据标识出活动类别的标签；
(2)通过由前向长短期记忆和后向长短期记忆构成的双向LSTM层处理输入数据，获得源数据的粗粒度特征；
(3)利用Attention机制对粗粒度特征进行重要度计算，获得能够反映活动特性的细粒度特征；
(4)通过分类的逻辑回归方法处理细粒度特征，获得当前数据的多个标签的概率分布，概率最大的为当前感知数据的活动类型；
(5)通过步骤(1)带标签的数据集训练步骤(2)-(4)的网络模型，进而得到最终的分层深度学习模型。


2.根据权利要求1所述的面向可穿戴传感器的人类活动识别方法，其特征在于：步骤(1)中的上下文指纹是指通过整合可穿戴传感器感知的人体行为信息使之成为上下文不变特征并且能够用于后续数据处理，所述上下文指纹矩阵F＝(f1,f2,…,fn)用于时序异构数据的表达，其中，fi＝(Accxi,Accyi,Acczi,Gyrxi,Gyryi,Gyrzi,Magxi,Magyi,Magzi,Comi…..)T，fi中的元素为各类可穿戴传感器数值，i为数据采集点。


3.根据权利要求1所述的面向可穿戴传感器的人类活动识别方法，其特征在于：步骤(1)中，通过滑动窗口切分数据并利用窗口重叠机制增加数据冗余特性，用每个窗口最后数据帧所属的活动类型标注数据。


4.根据权利要求3所述的面向可穿戴传感器的人类活动识别方法，其特征在于：滑动窗口大小设置为15...

【专利技术属性】
技术研发人员：马春梅，孙华志，姜丽芬，梁研，宿通通，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12