一种基于融合注意力机制的人体行为识别方法技术

本发明专利技术涉及一种基于融合注意力机制的人体行为识别方法，利用卷积网络模块学习多源异构传感器信号内部的空间特征，融合各传感器特征向量，通过传感器通道注意力模块学习传感器数据间相关性，卷积网络模块的输出输入到循环神经网络模块中学得时序间关系，采用自注意力机制捕获输入序列中关键部分，决定每部分的输入权重，使用注意力门过滤噪声部分，保留注意力分数较高的部分，最终形成整个时间序列的特征向量，得到行为分类结果，通过引入注意力机制以分离不同人类行为下的传感器内关系、传感器间关系以及行为时序关系，提高了对于人类行动分类准确率；与现有技术相比，本发明专利技术具有准确率高、可解释强、拓展性好等优点。拓展性好等优点。拓展性好等优点。

A human behavior recognition method based on attention fusion mechanism

【技术实现步骤摘要】
一种基于融合注意力机制的人体行为识别方法


[0001]本专利技术涉及一种人体行为识别技术，尤其是涉及一种基于融合注意力机制的人体行为识别方法。

技术介绍

[0002]在人体行为识别技术中，多关注人体日常执行频率最高、表征人体基本运动单元的动作，如行走、站立、静止、跑步、上下楼梯等，然而，行为的多样性和复杂性对人体行为的细粒度区分有了更高的要求。现有研究多用加速度计传感器采集用户数据，但单一传感器的研究难以很好地区分主体差异性及类间相似性带来的行为模式差异。其中主体差异性，即个体用户间因为生理特征产生的差异如年龄、性别等；类间相似性，即相似行为类别仅存在细微差异行为模式。例如，在看电视时，不同人具有极为不同的差异化行为模式；在跑步和走路时，不同人的传感器数据均表现出相似性。由于以上两大差异性的影响，人体行为细粒度的区分受加速度计、陀螺仪、磁力计等传感器影响程度不一。
[0003]已有的研究主要从以下方式对如何获取传感器模态间关系展开：(1)早期融合：初始融合所有数据作为模型输入，进行特征工程后得到识别结果；(2)传感器融合：单独考虑每个模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合注意力机制的人体行为识别方法，其特征在于，包括：采集穿戴式设备上的多源异构传感器获取的人体姿态数据，构成数据集，并进行预处理；将数据集输入训练好的深度行为识别模型，获得人体行为分类结果；其中，所述的深度行为识别模型包括：传感器通道注意力模块，用于提取多个传感器通道间的作用关系特征；卷积网络模块，用于根据传感器通道间的作用关系特征，获取同一时刻下每个传感器特征通道的模态特征；循环神经网络模块，用于根据模态特征的时间序列提取时间特征；时序注意力模块，用于根据时间特征获取同一时间片内不同时刻的注意力权重，并根据注意力权重对时间特征进行加权，获得注意力特征；全连接层行为判断模块，用于根据注意力特征，通过全连接层获取人体行为概率分布，并将概率最大的人体行为作为时间片内的人体行为分类结果。2.根据权利要求1所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的预处理的具体过程包括：对数据集进行滤波处理；采用合成少数过采样技术对数据集中的不平衡类数据进行处理；采用定长滑窗法对数据集进行信号分割。3.根据权利要求2所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的合成少数过采样技术的计算公式为：c＝a+rand(0,1)*|a
‑
b|其中，a为原始样本点数据...

【专利技术属性】
技术研发人员：潘建国，胡正欣，尹思思，李美子，彭伟民，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：