【技术实现步骤摘要】
基于长短时记忆网络的人体行为识别方法
本专利技术属于计算机视觉
，更进一步涉及目标检测与识别中，基于长短时记忆网络(LSTM)的人体行为识别方法，本专利技术可用于人机交互、智能视频监控、医疗领域等应用中。
技术介绍
人体行为识别是计算机视觉、机器学习、模式识别、图像处理以及人工智能等多学科交叉的一个重要研究方向，它在人机交互、智能监控等领域均有着巨大的应用价值和理论意义。它主要针对包含人的运动图像序列进行分析处理，特征提取，运动分类，实现识别和理解人的个体动作、人与人之间的以及人与外界环境之间的交互行为。相对基于静止图像的目标分类，基于视频的人体行为识别是一个复杂的过程，它不仅仅包含视频中单帧图像的空间特征，还包含多帧之间的时间特征；不仅有目标对象，还有复杂的目标背景。因此，要在监控视频中有效提取视频中人体的行为姿态，并从中提取人体的动态特征、进行人体行为识别，是一个非常具有挑战性的课题。近年来，人体行为识别方法主要分为三类：基于传感器检测的人体行为识别方法、基于人工特征提取的人体行为识别方法和基于深度学习的人体行为识别方法。基于传感器的人体行为识别方法，多...
【技术保护点】
1.基于长短时记忆网络LSTM的人体行为识别方法，其特征在于，所述方法能够识别视频中的目标人体行为动作；所述方法包括：将所述视频分割成若干视频片段，通过VGG‑16Net模型和RNN神经网络进行视频片段预处理，获得时间序列数据，数据归一化处理后，将无量纲数据输入到LSTM网络中，所述LSTM网络输出人体特征向量，将所述人体特征向量输入到softmax分类器中进行分类，能够实现将所有所述视频片段中的人体行为动作进行分类，根据分类结果，能够识别视频中的所有的目标人体行为动作。
【技术特征摘要】
1.基于长短时记忆网络LSTM的人体行为识别方法，其特征在于，所述方法能够识别视频中的目标人体行为动作；所述方法包括：将所述视频分割成若干视频片段，通过VGG-16Net模型和RNN神经网络进行视频片段预处理，获得时间序列数据，数据归一化处理后，将无量纲数据输入到LSTM网络中，所述LSTM网络输出人体特征向量，将所述人体特征向量输入到softmax分类器中进行分类，能够实现将所有所述视频片段中的人体行为动作进行分类，根据分类结果，能够识别视频中的所有的目标人体行为动作。2.根据权利要求1所述基于长短时记忆网络的人体行为识别方法，其特征在于，所述方法具体包括以下步骤：按照时序将所述视频分割成若干视频片段，在每个视频片段中至少包含一个完整的人体行为动作；将所述视频片段作为VGG-16Net模型的输入，所述VGG-16Net模型对所述视频片段中的人体姿态进行估计，并输出人体行为动态特征信息；将所述VGG-16Net模型输出的人体行为动态特征信息作为RNN神经网络的输入，所述RNN神经网络对人体行为动态特征进行时间序列预测，输出人体动态特征向量的时间序列数据；对所述时间序列数据进行数据归一化处理，消除所述时间序列数据之间的量纲影响，获得人体动态特征的无量纲数据，然后将无量纲数据划分为训练样本集和测试样本集；将所述训练样本集输入到LSTM网络中对网络中的各个控制门的权重、偏置数据进行训练，为测试样本的测试提供训练好的LSTM网络模型，同时训练样本集的数据经过LSTM网络输出人体训练特征向量，将所述人体训练特征向量输入到softmax分类器中进行分类，获得训练分类结果；将所述测试样本集输入到所述训练好的LSTM网络中进行测试，所述LSTM网络输出人体测试特征向量，将所述人体测试特征向量输入到softmax分类器中进行分类，获得测试分类结果；根据所述训练分类结果和所述测试分类结果，能够实现将所有所述视频片段中的人体行为动作进行分类，根据分类结果，能够识别视频中的所有的目标人体行为动作。3.根据权利要求1或2所述基于长短时记忆网络的人体行为识别方法，其特征在于，所述长短时记忆网络，即LSTM网络包括忘记门、输入门、输出门和存储单元，所述输入门和所述忘记门组成更新门；在所述长短时记忆网络中，第t时刻输入层输入的无量纲数据xt和第t-1时刻隐藏层的输出的人体特征向量信息ht-1连接到一起，形成在第t时刻LSTM单元的输入...
【专利技术属性】
技术研发人员：孟勃，訾永辉，王晓霖，刘雪君，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：吉林,22
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。