【技术实现步骤摘要】
本专利技术涉及了一种动作识别方法，涉及深度学习的动作识别，具体涉及一种基于时空卷积块的神经网络cst_de3dnet的动作识别方法。
技术介绍
1、随着深度学习技术的不断发展和动作识别应用场景的增加，基于深度学习的动作识别技术已成为该领域的关键研究方向。
2、动作识别技术在计算机视觉领域中具有重要的研究意义，并在人机交互等多个领域得到广泛应用。目前，动作识别方法主要可分为两种：基于传统机器学习手动提取特征的方法和基于深度学习网络学习特征的方法。
3、传统机器学习手动提取特征的方法通过采用传统机器学习算法对视频进行预处理，提取特征，将其向量化，再进行模型训练和动作分类预测。然而，这种方法对于视频动作识别面临着光照、背景变化以及视频帧之间的关联等因素的挑战，导致无法充分提取手势特征，其鲁棒性较差。
4、相比之下，基于深度学习的动作识别方法在二维图像的基础上增加了时序信息，因此能够学习空间序列和时间序列特征信息。例如，simonyan提出了双流cnn的经典方法，其中空间流网络和时间流网络分别学习空间特征和时...
【技术保护点】
1.一种基于时空卷积块的神经网络CST_DE3DNet的动作识别方法，其特征在于，包括：
2.根据权利要求1所述的基于时空卷积块的神经网络CST_DE3DNet的动作识别方法，其特征在于：所述的步骤1)中，针对每个带有动作类别标签的动作视频，首先采用稀疏采样方法提取动作视频中的预设帧数的视频帧序列，然后将提取出的视频帧序列中的每个视频帧进行尺寸归一化处理完成预处理，最终将预处理后的各个动作视频的视频帧构成动作训练集。
3.根据权利要求1所述的基于时空卷积块的神经网络CST_DE3DNet的动作识别方法，其特征在于：所述的步骤2)中，基于时空卷积...
【技术特征摘要】
1.一种基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于，包括：
2.根据权利要求1所述的基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于：所述的步骤1)中，针对每个带有动作类别标签的动作视频，首先采用稀疏采样方法提取动作视频中的预设帧数的视频帧序列，然后将提取出的视频帧序列中的每个视频帧进行尺寸归一化处理完成预处理，最终将预处理后的各个动作视频的视频帧构成动作训练集。
3.根据权利要求1所述的基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于：所述的步骤2)中，基于时空卷积块的神经网络cst_de3dnet包括依次连接的3dstem特征提取模块、四个多尺度时空卷积块cst_de3d、第一3d卷积层、全局平均池化层、第二3d卷积层、向量一维化操作flatten和全连接层fc。
4.根据权利要求3所述的基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于：所述的3dstem特征提取模块包括依次连接的第三3d卷积层和第四3d卷积层。
5.根据权利要求3所述的基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于：所述的多尺度时空卷积块cst_de3d包括依次连接的第五3d卷积层、时空注意力机制cstm、解耦的高效3d卷积模块de3d和第六3d卷积层，多尺度时空卷积块cst_de3d的输入依次经第五3d卷积层、时空注意力机制cstm、解耦的高效3d卷积模块de3d和第六3d卷积层处理后的输出再与多尺度时空卷积块cst_de3d的输入相加后输出作为多尺度时空卷积块cst_de3d的输出。
6.根据权利要求5所述的基于时空卷积块的神经网络cst_de3dnet的动作识别方法，其特征在于：所述的时空注意力机制cstm包括通道注意力机制cam、空间注意力机制sam、时间注意力机制tam和残差结构，时空注意力机制cstm的输入首先输入至通道注意力机制cam中处理，处理后的输出和时空注意力机制cstm的输入相乘后获得相乘结果，相乘结果再分别输入至空间注意力机制sam和时间注意力机制tam中处理，空间注...
【专利技术属性】
技术研发人员：田秋红，缪伟伦，黄静，李赛伟，曾飞，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。