一种基于多任务多视图增量学习的用户行为识别方法技术

本发明专利技术公开了一种基于多任务多视图增量学习的用户行为识别方法，包括以下步骤，S1.采集活动姿态数据，将数据划分多个部分，并根据参与训练的人员确定任务数量以及每个任务的视图数量，初始化每个阶段的参数；S2.利用多任务多视图深度神经网络为传感器数据提取特征；S3.参数更新，通过计算多个损失函数，并通过反向传播进行参数更新；S4.所有阶段训练结束，获得最终的预测结果。其优点在于，MTMVIS使用多任务多视图深度神经网络的每一层分别提取特征，并为每个任务使用注意力层加权多任务多视图深度神经网络所有层的输出作为最终的输出层。MTMVIS使用自适应权重巩固来减轻灾难性遗忘问题并增强模型可扩展性。忘问题并增强模型可扩展性。忘问题并增强模型可扩展性。

A method of user behavior recognition based on multi task and multi view incremental learning

【技术实现步骤摘要】
一种基于多任务多视图增量学习的用户行为识别方法


[0001]本专利技术属于智能设备用户行为预测
，具体涉及一种基于多任务多视图增量学习的用户行为识别方法。

技术介绍

[0002]近年来，通过智能感知实现的用户行为识别在学术和工业领域引起了越来越多的研究者的兴趣。各种传感器(如加速度计、陀螺仪等)嵌入强大的智能手机或智能可穿戴设备被用来识别用户行为，广泛应用于医疗服务、商业、安全等领域。用户行为识别旨在检测现实世界中的用户行为，这可以让智能系统帮助个人在医疗保健、智能城市等领域提高的生活质量。在之前的研究中，对特定数据集上的用户行为识别已经取得了较为良好的效果。
[0003]但是，现有的用户行为识别方法存在以下缺陷：(1)传统的方法在所有时间间隔内从各种传感器中收集数据，建立一个通用的离线模型来识别活动，这消耗了大量的空间来存储大量的训练数据。(2)灾难性遗忘在增量学习中很常见。由于传感器产生的测量速度非常快，当模型在变化阶段接受新活动训练时，模型可能会忘记之前学到的知识。(3)不同的人群和不同类型的传感器通常为相同的活动呈现不同的形式，即任务异构性和视图异构性。传统的增量式学习方法往往忽略了这些问题。

技术实现思路

[0004]基于上述问题，本申请提出了一种基于多任务多视图增量学习的用户行为识别方法MTMVIS来解决用户行为识别中的上述三大问题。MTMVIS首先利用了增量学习的在线方法从而节省了时间和空间；通过将不同人群形式化为不同任务，并将位于身体不同部位的传感器形式化为不同视图，利用多任务多视图学习的思想解决任务异构性和视图异构性；可塑权重巩固(EWC)可以减轻增量学习中灾难性遗忘问题。其技术方案为，
[0005]一种基于多任务多视图增量学习的用户行为识别方法，包括以下步骤，
[0006]S1.采集活动姿态数据，将数据划分多个部分即初始化活动阶段数量，并根据参与训练的人员确定任务数量以及每个任务的视图数量，初始化每个阶段的参数；
[0007]S2.利用多任务多视图深度神经网络为传感器数据提取特征；
[0008]S3.参数更新，通过计算多个损失函数，并通过反向传播进行参数更新；
[0009]S4.对S2至S4开展多轮迭代，直到达到迭代轮数范围要求，然后进行下一阶段的训练过程，直至所有的阶段训练结束，得到最终阶段的预测结果。
[0010]进一步优选的，步骤S1中，活动姿态的种类为ζ，每种姿态都出现的次数Γ，且出现的顺序是随机的，活动阶段数量为M＝ζ*Γ；每个活动阶段出现用户单个活动姿态且每个阶段出现的活动姿态是随机可重复的，并根据参与活动的人员数量以及佩戴传感器的身体部位确定任务数量以及每个任务的视图数量，并且每个阶段的参数具体包括模型参数θ
m
，迭代次数R
m
，学习率ρ
m
,m∈{1,2,
…
,M}表示第m个活动阶段。
[0011]进一步优选的，步骤S2中，将传感器采集的数据输出数据对齐层进行数据对齐，步
骤如下，
[0012]在每个T秒的时间间隔内，身体每个部位共有S个传感器，每个传感器可以生成N条数据，设置传感器的初始数据向量其中n∈{1,2,
…
,N}，s∈{1,2,
…
,S}，k表示是第k个任务，v表示第v个视图，其中k∈{1,2,
…
K}，v∈{1,2,
…
,V}，表示第k个用户第v个部位上的第s个传感器在T秒内的产生的第n条数据；数据对齐层包括第一注意层和第二注意层，第一注意层对齐位于身体同一部位的不同传感器的数据，根据位于身体同一部位的不同传感器的重要程度进行加权平均并得到一个固定长度的特征向量第二注意层加权在同一时间间隔内产生的不同测量值，以实现在同一时间间隔内产生的不同数据的对齐,并得到一个固定长度的特征向量
[0013]进一步优选的，步骤S2中，将数据对齐层输出的特征向量输入全连接层，得到固定长度的特征向量
[0014]进一步优选的，步骤S2中，将特征向量输入任务视图共享层，并执行MMoE算法，具体过程如下：
[0015]MMoE网络包含E个专家网络和K*V门控网络，首先将特征向量作为每个专家网络的输入，得到每个专家网络的输出其中e表示第e个专家网络，门控网络通过结合多个专家的输出，每个任务视图都可以获得一个特定的特征向量
[0016]进一步优选的，步骤S2中，将特征表示输入视图融合层，通过第三注意力层来融合每个任务的视图特征，得到每个任务的特征向量
[0017]进一步优选的，步骤S3中，分别将数据对齐层输出的特征向量全连接层输出的特征向量任务视图共享层输出的特征向量经过不同的注意力层得到特征向量特征向量和特征向量将特征向量特征向量将特征向量和特征向量输入自适应输出层进行加权，每个任务得到一个特定的特征向量F
k
。
[0018]进一步优选的，步骤S4中，在视图融合阶段通过正则项计算多视图损失L
MV
；预测结果F
k
与真实值y
k
计算交叉熵损失L
CL
；并通过同方差不确定性计算多任务损失L
MT
，另外通过EWC算法参数巩固来克服灾难性遗忘问题得到增量损失最终损失函数
[0019][0020]利用L
F
计算梯度并对模型进行更新，即
[0021]其中r
m
∈(1,2,...R
m
)。
[0022]有益效果
[0023]本专利技术使用一种基于多任务多视图增量学习的用户行为识别框架来解决真实场景下的用户行为识别问题。现有的方法通常集中式批处理的方式训练数据，这种方式要求一个非常大的存储空间来保存所有的用户行为数据。如果用户单独训练，那么数据量有限是一个极其严峻的问题。通过引入多任务框架，多个用户可以彼此学习，从而学习到一个泛化模型。另外由于各个人的不同身体部位对相同的活动具有异质性，这种多视图问题也是我们研究的重点。本专利技术在增量学习的框架下利用了多任务多视图学习方法，提出了更先进用户行为预测方法。
[0024]MTMVIS(MT multi
‑
task多任务、MV multi
‑
view多视图、I incremental增量、S streaming data流数据)来解决用户行为识别中的存储空间有限、用户间异构性以及视图异构性三大问题。MTMVIS首先利用了增量学习的在线方法从而节省了时间和空间；通过将不同人群形式化为不同任务，并将位于身体不同部位的传感器形式化为不同视图，利用多任务多视图学习的思想解决任务异构性和视图异构性；自适应可塑权重巩固(EWC)可以减轻增量学习中灾难性遗忘问题。
附图说明
[0025]图1为本专利技术框架的用户位置预测流程示意图。
[0026]图2本专利技术所提出的框架示意图。...

【技术保护点】

【技术特征摘要】
1.一种基于多任务多视图增量学习的用户行为识别方法，其特征在于，包括以下步骤，S1.采集活动姿态数据，将数据划分多个部分即初始化活动阶段数量，并根据参与训练的人员确定任务数量以及每个任务的视图数量，初始化每个阶段的参数；S2.利用多任务多视图深度神经网络为传感器数据提取特征；S3.参数更新，通过计算多个损失函数，并通过反向传播进行参数更新；S4.对S2至S4开展多轮迭代，直到达到迭代轮数范围要求，然后进行下一阶段的训练过程，直至所有的阶段训练结束，得到最终阶段的预测结果。2.根据权利要求1所述的一种基于多任务多视图增量学习的用户行为识别方法，其特征在于，步骤S1中，活动姿态的种类为ζ，每种姿态都出现的次数Γ，且出现的顺序是随机的，活动阶段数量为M＝ζ*Γ；每个活动阶段出现用户单个活动姿态且每个阶段出现的活动姿态是随机可重复的，并根据参与活动的人员数量以及佩戴传感器的身体部位确定任务数量以及每个任务的视图数量，并且每个阶段的参数具体包括模型参数θ
m
，迭代次数R
m
，学习率ρ
m
,m∈{1,2,
…
,M}表示第m个活动阶段。3.根据权利要求1所述的一种基于多任务多视图增量学习的用户行为识别方法，其特征在于，步骤S2中，将传感器采集的数据输出数据对齐层进行数据对齐，步骤如下，在每个T秒的时间间隔内，身体每个部位共有S个传感器，每个传感器可以生成N条数据，设置传感器的初始数据向量其中n∈{1,2,
…
,N}，s∈{1,2,
…
,S}，k表示是第k个任务，v表示第v个视图，其中k∈{1,2,
…
K}，v∈{1,2,
…
,V}，表示第k个用户第v个部位上的第s个传感器在T秒内的产生的第n条数据；数据对齐层包括第一注意层和第二注意层，第一注意层对齐位于身体同一部位的不同传感器的数据，根据位于身体同一部位的不同传感器的重要程度进行加权平均并得到一个固定长度的特征向量第二注意...

【专利技术属性】
技术研发人员：张啸，师脉旺，于东晓，
申请(专利权)人：山东大学，
类型：发明
国别省市：