人体行为识别方法、系统、设备及介质技术方案

本发明专利技术公开了一种人体行为识别方法、系统、设备及介质，属于数据检索领域，方法包括：捕获目标区域内人体的RGB视频序列、加速度信号和角速度信号，提取RGB视频序列、加速度信号和角速度信号中与人体行为识别相关的视频特征、加速度特征和角速度特征；对加速度特征形成的循环矩阵和角速度特征形成的循环矩阵进行多传感器信号融合处理，得到惯性传感器融合特征向量；对惯性传感器融合特征向量与视频特征进行基于塔克分解的双模态融合，得到融合行为特征；将融合行为特征输入分类器进行人体行为识别，以预测并输出人体动作。多角度、多视角分析人体行为识别任务，解决单一模态信息缺失的问题。的问题。的问题。

【技术实现步骤摘要】
人体行为识别方法、系统、设备及介质


[0001]本专利技术属于数据检索领域，更具体地，涉及一种人体行为识别方法、系统、设备及介质。

技术介绍

[0002]人体行为识别是人机交互领域的一项热点研究课题，旨在识别和理解人体各种行为表征或动作，通过机器学习算法从各种不同类型的数据源中挖掘和融合与人体行为相关的信息，返回识别后的行为类别，即“读懂人的行为”。人类日常行为活动复杂且多样化，微小的动作变化可能会产生完全不同的行为，且随着所处环境的变化而变化。因此，在行为识别相关应用研究中，研究者面临着许多挑战。
[0003]如何丰富原有传统识别方法的特征信息，如何有效解决严重损坏数据和噪声信号的问题，如何准确处理和鉴别复杂人体行为，日常行为识别应用中提出的这些技术难题使得相关研究人员开发出新型的模型和算法，充分利用跨学科交叉的技术与理论来获得与人体行为识别息息相关的运动信息，从而可以得到更有作用的线索来提高人体行为识别系统的准确率。
[0004]近年来，随着人体行为识别领域出现了众多的数据源，单独使用任何一种模态的数据在实际应用中都存在各种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态异构信息融合的人体行为识别方法，其特征在于，包括：S1，捕获目标区域内人体的RGB视频序列、加速度信号和角速度信号，提取所述RGB视频序列、加速度信号和角速度信号中与人体行为识别相关的视频特征、加速度特征和角速度特征；S2，对所述加速度特征形成的循环矩阵和所述角速度特征形成的循环矩阵进行多传感器信号融合处理，得到惯性传感器融合特征向量；S3，对所述惯性传感器融合特征向量与所述视频特征进行基于塔克分解的双模态融合，得到融合行为特征；S4，将所述融合行为特征输入分类器进行人体行为识别，以预测并输出人体动作。2.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S1中特征提取之前还包括：删除预设起始时间段内捕获的RGB视频序列、加速度信号和角速度信号，并对删除后的数据进行最小
‑
最大归一化处理；对最小
‑
最大归一化处理后动作长度小于目标尺寸的数据进行零填充。3.如权利要求1或2所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S1中特征提取包括：利用深度三维卷积神经网络对所述RGB视频序列进行特征提取，得到所述视频特征；利用包含卷积神经网络和长短期记忆网络的ConvLSTM模型对所述加速度信号和角速度信号进行特征提取，得到所述加速度特征和角速度特征。4.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S2包括：将所述加速度特征逐次逐数据平移以生成多个加速度向量，将所述多个加速度向量组合形成加速度循环特征矩阵；将所述角速度特征形成的角速度特征向量与所述加速度循环特征矩阵相乘后进行归一化处理，得到交互特征向量；将所述加速度特征形成的加速度特征向量、所述角速度特征向量和所述交互特征向量进行级联融合，得到所述惯性传感器融合特征向量。5.如权利要求4所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述加速度循环特征矩阵为：所述交互特征向量为：
所述惯性传感器融合特征向量为：其中，A为所述加速度循环特征矩阵，A
T
为A的转置，a为所述加速度特征向量，g为所述角速度特征向量，a
i
为a中第i个元素，g
i
为g中第i个元素，i＝1,2,3
…
,N，N为a和g的维数，f为所述交互特征向量，s为所述惯性传感器融合特征向量。6.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S3包括：对特征权重张量τ进行塔克分解，所述塔克分解为：τ＝((τ
c
×1W
s
)
×2W
v
)
×3W0对所述惯性传感器融合特征向量、所述视频特征形成的视频特征向量各自加...

【专利技术属性】
技术研发人员：袁凌，潘帅宁，李国徽，胡记伟，罗力玮，
申请(专利权)人：武汉烽火技术服务有限公司，
类型：发明
国别省市：