【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及视频动作分类方法、装置、设备和存储介质。
技术介绍
1、视频动作识别是指利用计算机视觉技术对视频中的人体动作进行自动识别和分析，视频动作识别在很多领域，如视频监控、健身辅助等都具有广泛的应用。然而相关技术中视频动作识别计算量巨大，需要大量的计算资源，进而产生较高的计算能耗，并且在长时视频场景下，动作识别过程时间复杂度高，处理速度低。
技术实现思路
1、本申请实施例的主要目的在于提出视频动作分类方法、装置、设备和存储介质，提升视频动作识别的识别效率。
2、为实现上述目的，本申请实施例的第一方面提出了一种视频动作分类方法，包括：
3、获取多个待处理视频帧，依次在每个时间步选取一个所述待处理视频帧作为目标视频帧；
4、调用依次级联的局部时空特征模块对所述目标视频帧进行脉冲编码后，再进行特征提取，得到最后一个所述局部时空特征模块输出的局部时空特征；
5、调用依次级联的全局时空特征模块对所述局部时空特征进行脉冲编码后，再进行特征提取，得到最后一个所述全局时空特征模块输出的全局时空特征；
6、利用循环神经网络模块从所述全局时空特征中提取分类时空特征；
7、将所述分类时空特征输入分类模块进行分类预测，得到视频动作分类结果。
8、在一些实施例，所述局部时空特征模块包括：依次连接的第一嵌入表征模块和至少一个局部提取单元，所述局部提取单元的第一层为第一局部脉冲神经元层；所述调用依次级联的局部
9、在任意一个所述局部时空特征模块中，利用所述第一嵌入表征模块对第一输入数据进行特征提取得到第一特征信息，调用依次级联的所述局部提取单元对所述第一特征信息进行特征提取，得到最后一个所述局部提取单元输出的第一输出数据；
10、其中，前一个所述局部时空特征模块的所述第一输出数据为后一个所述局部时空特征模块的所述第一输入数据，第一个所述局部时空特征模块的所述第一输入数据为所述目标视频帧；在任意一个所述局部提取单元中，利用所述第一局部脉冲神经元层将所述第一特征信息变为第一脉冲信号，并利用所述局部提取单元的其他层对所述第一脉冲信号进行特征提取，得到第一输出数据；
11、将最后一个所述局部时空特征模块的所述第一输出数据作为所述局部时空特征。
12、在一些实施例，所述局部提取单元依次包括被配置为通过残差连接进行输出的：局部位置编码模块、局部空间卷积模块和局部感知机模块，所述利用所述第一局部脉冲神经元层将所述第一特征信息变为第一脉冲信号，并利用所述局部提取单元的其他层对所述第一脉冲信号进行特征提取，得到第一输出数据，包括：
13、利用所述局部位置编码模块中所述第一局部脉冲神经元层将所述第一特征信息变为第一脉冲信号，并对所述第一脉冲信号进行位置编码，得到第一编码信号；
14、利用所述局部空间卷积模块将所述第一编码信号变为第二脉冲信号，并对所述第二脉冲信号进行特征提取，得到第二编码信号；
15、利用所述局部感知机模块对所述第二编码信号进行特征提取，得到所述第一输出数据。
16、在一些实施例，所述局部感知机模块包括两个级联的第一感知机单元，所述第一感知机单元包括感知机脉冲神经元层和线性层；所述利用所述局部感知机模块对所述第二编码信号进行特征提取，得到所述第一输出数据，包括：
17、在任意一个所述第一感知机单元中，利用所述感知机脉冲神经元层将第三输入数据变为第三脉冲信号，利用所述线性层对所述第三脉冲信号进行特征提取，得到第三输出数据，第一个所述第一感知机单元的所述第三输入数据为所述第二编码信号，最后一个所述第一感知机单元的所述第三输出数据为所述第一输出数据。
18、在一些实施例，所述全局时空特征模块包括：依次连接的第二嵌入表征模块和至少一个全局提取单元，所述全局提取单元的第一层为全局脉冲神经元层；所述调用依次级联的全局时空特征模块对所述局部时空特征进行脉冲编码后，再进行特征提取，得到最后一个所述全局时空特征模块输出的全局时空特征，包括：
19、在任意一个所述全局时空特征模块中，利用所述第二嵌入表征模块对第二输入数据进行特征提取得到第二特征信息，调用依次级联的所述全局提取单元对所述第二特征信息进行特征提取，得到最后一个所述全局提取单元输出的第二输出数据；
20、其中，前一个所述全局时空特征模块的所述第二输出数据为后一个所述全局时空特征模块的所述第二输入数据，第一个所述全局时空特征模块的所述第二输入数据为所述局部时空特征；在任意一个所述全局提取单元中，利用所述全局脉冲神经元层将所述第二特征信息变为第四脉冲信号，并利用所述全局提取单元的其他层对所述第四脉冲信号进行特征提取，得到第二输出数据；
21、将最后一个所述全局时空特征模块的所述第二输出数据作为所述全局时空特征。
22、在一些实施例，所述全局时空特征模块依次包括被配置为通过残差连接进行输出的：全局位置编码模块、全局脉冲自注意力模块和全局感知机模块，所述利用所述全局脉冲神经元层将所述第二特征信息变为第四脉冲信号，并利用所述全局提取单元的其他层对所述第四脉冲信号进行特征提取，得到第二输出数据，包括：
23、利用所述全局位置编码模块中所述全局脉冲神经元层将所述第二特征信息变为第四脉冲信号，并对所述第四脉冲信号进行位置编码，得到第三编码信号；
24、利用所述全局脉冲自注意力模块将所述第三编码信号变为第五脉冲信号，并对所述第五脉冲信号进行特征提取，得到第四编码信号；
25、利用所述全局感知机模块对所述第四编码信号进行特征提取，得到所述第二输出数据。
26、在一些实施例，所述全局脉冲自注意力模块包括：依次连接的第一自注意力脉冲层、第一线性归一化层、三个并行的注意力矩阵脉冲层、第二自注意力脉冲层和第二线性归一化层，所述利用所述全局脉冲自注意力模块将所述第三编码信号变为第五脉冲信号，并对所述第五脉冲信号进行特征提取，得到第四编码信号，包括：
27、利用所述第一自注意力脉冲层将所述第三编码信号变为所述第五脉冲信号；
28、利用所述第一线性归一化层得到所述第五脉冲信号的第五编码信号；所述第五编码信号包括3个通道；
29、将所述第五编码信号的不同通道数据送入对应的注意力矩阵脉冲层，并对所述注意力矩阵脉冲层的结果进行矩阵加法得到第六编码信号；
30、利用所述第二自注意力脉冲层将所述第六编码信号变为第六脉冲信号；
31、利用所述第二线性归一化层对所述第六脉冲信号进行归一化得到所述第四编码信号。
32、在一些实施例，所述待处理视频帧从待处理视频中得到；所述分类模块包括分类脉冲神经元层和线性分类层；所述将所述分类时空特征输入分类模块进行本文档来自技高网...
【技术保护点】
1.一种视频动作分类方法，其特征在于，包括：
2.根据权利要求1所述的视频动作分类方法，其特征在于，所述局部时空特征模块包括：依次连接的第一嵌入表征模块和至少一个局部提取单元，所述局部提取单元的第一层为第一局部脉冲神经元层；所述调用依次级联的局部时空特征模块对所述目标视频帧进行脉冲编码后，再进行特征提取，得到最后一个所述局部时空特征模块输出的局部时空特征，包括：
3.根据权利要求2所述的视频动作分类方法，其特征在于，所述局部提取单元依次包括被配置为通过残差连接进行输出的：局部位置编码模块、局部空间卷积模块和局部感知机模块，所述利用所述第一局部脉冲神经元层将所述第一特征信息变为第一脉冲信号，并利用所述局部提取单元的其他层对所述第一脉冲信号进行特征提取，得到第一输出数据，包括：
4.根据权利要求3所述的视频动作分类方法，其特征在于，所述局部感知机模块包括两个级联的第一感知机单元，所述第一感知机单元包括感知机脉冲神经元层和线性层；所述利用所述局部感知机模块对所述第二编码信号进行特征提取，得到所述第一输出数据，包括：
5.根据权利要求1所述
6.根据权利要求5所述的视频动作分类方法，其特征在于，所述全局时空特征模块依次包括被配置为通过残差连接进行输出的：全局位置编码模块、全局脉冲自注意力模块和全局感知机模块，所述利用所述全局脉冲神经元层将所述第二特征信息变为第四脉冲信号，并利用所述全局提取单元的其他层对所述第四脉冲信号进行特征提取，得到第二输出数据，包括：
7.根据权利要求6所述的视频动作分类方法，其特征在于，所述全局脉冲自注意力模块包括：依次连接的第一自注意力脉冲层、第一线性归一化层、三个并行的注意力矩阵脉冲层、第二自注意力脉冲层和第二线性归一化层，所述利用所述全局脉冲自注意力模块将所述第三编码信号变为第五脉冲信号，并对所述第五脉冲信号进行特征提取，得到第四编码信号，包括：
8.根据权利要求1所述的视频动作分类方法，其特征在于，所述待处理视频帧从待处理视频中得到；所述分类模块包括分类脉冲神经元层和线性分类层；所述将所述分类时空特征输入分类模块进行分类预测，得到视频动作分类结果，包括：
9.一种视频动作分类装置，其特征在于，包括：
10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的视频动作分类方法。
11.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的视频动作分类方法。
...【技术特征摘要】
1.一种视频动作分类方法，其特征在于，包括：
2.根据权利要求1所述的视频动作分类方法，其特征在于，所述局部时空特征模块包括：依次连接的第一嵌入表征模块和至少一个局部提取单元，所述局部提取单元的第一层为第一局部脉冲神经元层；所述调用依次级联的局部时空特征模块对所述目标视频帧进行脉冲编码后，再进行特征提取，得到最后一个所述局部时空特征模块输出的局部时空特征，包括：
3.根据权利要求2所述的视频动作分类方法，其特征在于，所述局部提取单元依次包括被配置为通过残差连接进行输出的：局部位置编码模块、局部空间卷积模块和局部感知机模块，所述利用所述第一局部脉冲神经元层将所述第一特征信息变为第一脉冲信号，并利用所述局部提取单元的其他层对所述第一脉冲信号进行特征提取，得到第一输出数据，包括：
4.根据权利要求3所述的视频动作分类方法，其特征在于，所述局部感知机模块包括两个级联的第一感知机单元，所述第一感知机单元包括感知机脉冲神经元层和线性层；所述利用所述局部感知机模块对所述第二编码信号进行特征提取，得到所述第一输出数据，包括：
5.根据权利要求1所述的视频动作分类方法，其特征在于，所述全局时空特征模块包括：依次连接的第二嵌入表征模块和至少一个全局提取单元，所述全局提取单元的第一层为全局脉冲神经元层；所述调用依次级联的全局时空特征模块对所述局部时空特征进行脉冲编码后，再进行特征提取，得到最后一个所述全局时空特征模块输出的全局时空特征，包括：
【专利技术属性】
技术研发人员：余柳涛，马征宇，周陈林，叶钰敏，黄力炜，张晗，周晖晖，田永鸿，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。