一种基于ZYNQ的深度学习人体行为识别的方法及系统技术方案

本发明专利技术公开了一种基于ZYNQ的深度学习人体行为识别的方法及系统，包括步骤：1）获取人体行为的视频数据集；2）进行数据预处理，将步骤1）中的视频数据集通过人体姿态估计算法所采集到的人体估计信息进行数据处理，并将采集的数据分化为训练集以及测试集；3）构建人体行为识别的模型，使用设计的深度学习的神经网络对步骤2）二中的数据集的数据进行特征提取与处理，实现对模型的训练；4）设置训练参数，对设计的深度学习网络进行训练；5）根据实际需要，以ZYNQ为核心板，将训练好的模型进行迁移，最后完成部署，实现在线的人体行为识别。本发明专利技术有利于视频场景下对复杂、长时需推理行为的识别，具有实际应用价值。具有实际应用价值。具有实际应用价值。

【技术实现步骤摘要】
一种基于ZYNQ的深度学习人体行为识别的方法及系统


[0001]本专利技术属于模式识别领域领域，尤其涉及一种基于ZYNQ的深度学习人体行为识别的方法及系统。

技术介绍

[0002]视觉信息作为现实生活中最容易得到的信息之一，以视频作为载体，在其上涌现了大量研究热点以及应用。在这些关注点中，视频中的人体行为识别被重点关注，例如智能养老看护、体育赛事评判、手语识别等，相较于人体与物体的交互行为，这些任务更加关注于人体本身的动作。视频由多帧具有时序关系的图像组成，因此如何同时捕获视频中图像的空间语义特征以及多帧图像间的时序运动特征成为了人体行为识别的关键。
[0003]视频中人体行为识别的行为识别任务与图像分类任务最大的不同之处在于视频中的分类需要进行时序建模，因此多种行为识别网络对时序与空间建模的组合尝试了多种方式。2014年提出的Two Stream CNN尝试使用双流网络，一路网络进行空间特征表达，一路网络进行时序特征表达，然后对两路网络提取到的空间特征和时序特征进行融合再得到分类，这种方法的缺陷在于其将时空特征的提取分割开来，忽略了两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ZYNQ的深度学习人体行为识别的方法及系统，其特征在于，包括以下步骤：步骤一：获取人体行为的视频数据集；步骤二：进行数据预处理，将步骤一中的视频数据集通过人体姿态估计算法所采集到的人体估计信息进行数据处理，并将采集的数据分化为训练集以及测试集；步骤三：构建人体行为识别的模型，使用设计的深度学习的神经网络对步骤二中的数据集的数据进行特征提取与处理，实现对模型的训练。其中深度学习的神经网络是通过对双向循环门控制网络进行修改，增加时空注意力机制，增强网络对于时间和空间的信息的处理能力，并且在此基础上通过增加CNN网络的另一个分支，提取人体特征信息，将两个特征进行特征融合，这样的目的增加特征提取的方式，获得更加完整的特征信息；步骤四：设置训练参数，对设计的深度学习网络进行训练；步骤五：根据实际需要，以ZYNQ为核心板，将训练好的模型进行迁移，最后完成部署，实现在线的人体行为识。2.根据权利要求1所述的一种基于ZYNQ的深度学习人体行为识别的方法及系统，其特征在于，所述步骤一中通过获取HMDB51的公开的人体动作数据集，将获取到的数据集按照动作的不同，将其保存在不同的文件目录下，并且以动作名称进行标注。3.根据权利要求1所述的一种基于ZYNQ的深度学习人体行为识别的方法及系统，其特征在于，所述步骤二中对数据通过openpose算法对人体行为的骨骼关键点信息进行提取，并且将其按照时间顺序以及动作种类进行标注分类，并将所获得数据集按照8：2的比例划分为训练集和测试集。4.根据权利要求1所述的一种基于ZYNQ的深度学习人体行为识别的方法及系统，其特征在于，所述步骤三中构建人体行为识别的模型的具体步骤如下：1）设计时空注意力机制的双向循环门神经网络，时空注意力机制的双向循环门神经网...

【专利技术属性】
技术研发人员：张鹏，孟另伟，李孟委，
申请(专利权)人：南通展飞智能装备科技有限公司，
类型：发明
国别省市：