一种基于时空卷积和时间序列特征融合的行为识别方法技术

本发明专利技术针对单一数据形式下行为识别下特征提取不充分的问题，提供一种基于时空卷积和时间序列特征融合的行为识别方法，先获取视频流数据以及来自惯性传感器的运动数据，再从视频流数据提取出基于时空卷积的高层时空语义特征；同时，从运动数据流提取出基于时间序列的深层运动特征；将高层时空语义特征和深层运动特征进行融合得到融合特征，将融合特征输入多层感知器MLP映射得到输出值，输出值经Softmax完成行为识别分类。本发明专利技术基于两种特征融合的方式完成行为识别，弥补了主流算法使用单一特征缺失信息的缺点，并通过自注意力模块捕获关键时刻的动作特征，提升了网络对异常和突发行为的识别准确度。和突发行为的识别准确度。和突发行为的识别准确度。

A behavior recognition method based on spatiotemporal convolution and time series feature fusion

【技术实现步骤摘要】
一种基于时空卷积和时间序列特征融合的行为识别方法


[0001]本专利技术涉及基于多模态的特征融合的行为识别技术，属于深度学习领域。

技术介绍

[0002]随着电子和计算机技术的发展，智能可穿戴设备的智能性和实用性在逐步提升。目前众多高科技公司推出了轻便的智能眼镜，如苹果智能眼镜，谷歌智能眼镜等。智能设备使得人们能够以第一视角的形式记录下日常生活，并通过惯性传感器记录日常的活动数据。这些数据拥有着难以估计的潜在价值，能被用来提升人们的生活质量，更能够缓解全球老年化背景下的老年人失护失陪的社会压力。行为识别作为人工智能领域中的一个热点，行为识别可以记录行为，识别行为，还可以对异常行为做出警示，起到看护和急救预警的功能。
[0003]目前，基于深度学习和神经网络的行为识别的算法已经被广泛使用，其中基于时空卷积的3D卷积神经网络对视频提取特征是行为识别方法的一个重要分支。此外，使用循环卷积神经网络RNN对惯性传感器数据提取运动特征是行为识别的另外一个分支。
[0004]视频数据是具有三个维度(时间、空间)的复杂多维数据，时间结构中往往蕴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空卷积和时间序列特征融合的行为识别方法，其特征在于，包括以下步骤：1)获取视频流数据以及来自惯性传感器的运动数据流；2)对视频流数据提取帧图像的全局空间特征，再将全局空间特征送入到池化层进行特征压缩，将压缩后的全局空间特征送3D卷积网络中提取出基于时空卷积的高层时空语义特征；同时，将运动数据流送入双层双向BiLSTM，结合所有时刻的隐藏层特征提取肢体运动特征，将肢体运动特征输入双头的自注意力机制从而有权重的加强关键时刻的运动信息，再通过全连接前馈网络与归一化后输出基于时间序列的深层运动特征；3)将高层时空语义特征和深层运动特征进行融合得到融合特征，将融合特征输入多层感知器MLP映射得到输出值，输出值经Sof...

【专利技术属性】
技术研发人员：李宏亮，黄俊强，董建伟，盛一航，任子奕，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：