【技术实现步骤摘要】
本专利技术公开了一种视频人体行为识别方法、系统、装置及存储介质，涉及水利工程施工自动控制领域。
技术介绍
1、近年来，随着监控视频、互联网视频和虚拟现实等应用的广泛使用，社会对于实时行为分析和智能安防系统的需求不断增加，视频中的人体行为识别受到了越来越多的研究者的关注。但是，由于受到光照变化、遮挡、复杂背景、视角变化和行为多样性等因素的影响，视频中的人体行为识别较为困难，具有很大的挑战性。
2、针对深度卷积神经网络，应用最广泛的视频人体行为识别网络架构为双流网络和3d网络。双流网络分别从视频帧序列的空间流和时间流提取特征表示并预测行为类型，最后再进行融合；3d网络则采用3d卷积核从视频帧序列中提取特征表示并预测行为类型。
3、近几年，transformer逐渐替代cnn或与cnn结合来处理主流计算机视觉任务，特别是视频中的人体行为识别任务。transformer相比cnn有更好的序列建模能力，能有效处理视频序列的长时依赖关系，从而更好的提取全局特征。目前，视频人体行为识别领域较常用的结构有vit、vivit、mv...
【技术保护点】
1.一种基于多流深度神经网络的视频人体行为识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，所述按帧提取原始视频中多个待识别的RGB图像帧序列，并预处理每个待识别的RGB图像帧序列具体包括以下步骤：
3.根据权利要求1所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，预先训练好的多流深度神经网络包括：构建多流深度神经网络和训练多流深度神经网络：
4.根据权利要求3所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，所述采用特征融合模块在时空流-时间流...
【技术特征摘要】
1.一种基于多流深度神经网络的视频人体行为识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，所述按帧提取原始视频中多个待识别的rgb图像帧序列，并预处理每个待识别的rgb图像帧序列具体包括以下步骤：
3.根据权利要求1所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，预先训练好的多流深度神经网络包括：构建多流深度神经网络和训练多流深度神经网络：
4.根据权利要求3所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，所述采用特征融合模块在时空流-时间流、时空流-空间流之间建立交互，逐网络层提取原始视频中人体行为在空间流、时间流和时空流的特征表示具体包括：
5.根据权利要求4所述基于多流深度神经网络的视频人体行为识别方法，其特征在于，所述将特征表示输入分类器获得空间流识别类型概率、时间...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。