一种基于部分解耦条件下通道分配的动作识别方法及系统技术方案

本发明专利技术公开了一种基于部分解耦条件下通道分配的动作识别方法及系统，该方法包括：获取视频信息并对视频信息进行处理，抽取视频帧图像；将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled‑3D模块、池化层和全连接层。该系统包括：视频帧抽取模块和识别模块。本发明专利技术通过Decoupled‑3D模块分配空间和时间上的通道维度信息来平衡模型的表达能力。本发明专利技术作为一种基于部分解耦条件下通道分配的动作识别方法及系统，可广泛应用于模型改进领域。

【技术实现步骤摘要】
一种基于部分解耦条件下通道分配的动作识别方法及系统
本专利技术属于模型改进领域，尤其涉及一种基于部分解耦条件下通道分配的动作识别方法及系统。
技术介绍
当前主流的视频动作识别方法包括融合表观和光流等动态特征的双流网络、3DCNN及其分解的方法和基于循环神经网络的方法。双流网络一般包括两个分支，一个分支利用RGB图像提取动作的表观特征，另一个分支利用光流或者相邻帧间的动态信息来提取时间特征；3DCNN则是将2D卷积网络进行扩展，使得卷积核可以同时在时间和空间上进行特征提取，分解方法则是将原始3D卷积分解为2D空间卷积和1D时间卷积；循环神经网络因为其在文本和语音分析中对时间序列建模的优秀表现也被应用到动作识别领域中，主要是利用LSTM、GRU等来实现。但是当前一些主流的分解工作并没有考虑卷积核时空表达能力的均衡问题。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种基于部分解耦条件下通道分配的动作识别的动作识别方法，通过分配空间和时间上的通道维度信息来平衡模型的表达能力。本专利技术所采用的第一技术方案是：一种基于部分解耦条件下通道分配的动作识别方法，包括以下步骤：获取视频信息并对视频信息进行处理，抽取视频帧图像；将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled-3D模块、池化层和全连接层。进一步，所述获取视频信息并对视频信息进行处理，抽取视频帧图像这一步骤，其具体包括：获取视频并将视频按某一帧率裁剪成画面帧，选取连续的画面帧图像；将选取的画面帧图像按预设规则裁剪尺寸，得到视频帧图像。进一步，所述Decoupled-3D模块基于通道分解的部分解耦时空滤波器设计形成，所述Decoupled-3D模块包括利用通道分解形成的空间卷积层和时间卷积层。进一步，所述将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果这一步骤，其具体包括：将视频帧图像输入到预设的卷积神经网络；依次经过残差层、两个R(2+1)D块和Decoupled-3D模块对视频帧图像的数据进行卷积操作，经过池化层进行下采样，最后基于全连接层对特征进行分类，得到识别结果。具体地，经过这几个层得到的是时空分辨率逐渐减小的特征图。进一步，经过Decoupled-3D模块对视频帧图像的数据进行卷积操作具体为数据进入Decoupled-3D模块后依次进行空间卷积、归一化、激活、时间卷积、归一化、激活操作，输出特征图。本专利技术所采用的第二技术方案是：一种基于部分解耦条件下通道分配的动作识别系统，包括以下模块：视频帧抽取模块，用于获取视频信息并对视频信息进行处理，抽取视频帧图像；识别模块，用于将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果。本专利技术方法及系统的有益效果是：本专利技术提出了Decoupled-3D结构，将Decoupled-3D结构应用到卷积神经网络，基于Decoupled-3D结构进行解耦和通道分解，另外，在部分解耦的条件下，Decoupled-3D模块利用通道分解来平衡模型的时空表达能力。附图说明图1是本专利技术具体实施例预设的卷积神经网络的结构示意图；图2是本专利技术具体实施例部分解耦示意图；图3是本专利技术具体实施例一种基于部分解耦条件下通道分配的动作识别方法的步骤流程图；图4是本专利技术具体实施例一种基于部分解耦条件下通道分配的动作识别系统的结构框图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。参照图1和图3，本专利技术提供了一种基于部分解耦条件下通道分配的动作识别方法，该方法包括以下步骤：S1、获取视频信息并对视频信息进行处理，抽取视频帧图像；S2、将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled-3D模块、池化层和全连接层。具体地，由于卷积核之间的相互耦合会导致冗余表达，因此在卷积分解过程中对3D卷积核进行解耦。分解后的伪三维卷积核一般由空间二维卷积滤波器和时间一维卷积滤波器组成，如R(2+1)D块。对于3D卷积分解后的时间卷积部分，我们对卷积层中的耦合度进行定义，表示为：其中m代表共享参数的卷积核个数，Co代表总的卷积核个数。图2为3D卷积分解过程中的部分解耦示意图，输入特征先后进行空间卷积与时间卷积，Ci代表输入通道数，Cm代表空间卷积层输出特征的通道数，一个虚线框即为一个耦合组。进一步作为本方法的优选实施例，所述获取视频信息并对视频信息进行处理，抽取视频帧图像这一步骤，其具体包括：获取视频并将视频按某一帧率裁剪成画面帧，选取连续的画面帧图像；将选取的画面帧图像按预设规则裁剪尺寸，得到视频帧图像。所述R(2+1)D块是构成残差层的基础单元，一个R(2+1)D块称为一个block。进一步作为本专利技术的优选实施例，所述Decoupled-3D模块基于通道分解的部分解耦时空滤波器设计形成，所述Decoupled-3D模块包括利用通道分解形成的空间卷积层和时间卷积层。具体地，本专利技术将3D卷积核在部分解耦的条件下分解为空间和时间核，并将其命名为Decoupled-3D卷积核。本专利技术考虑3D卷积核的分解形式，其大小为h×w×t，输入通道数为Ci，并将其分解过程定义为：其中*表示卷积操作，表示空间卷积核，表示时间卷积核，S表示空间维度，T表示时间维度，Cs代表了空间维度上的通道参数复杂度，Ct代表了时间维度上的通道参数复杂度，对于单个分解卷积核，Ci＝Cs×Ct。与以前将3D卷积核简单分解为时空卷积核的工作不同，本专利技术探讨了通道信息在时空维度上的分配与建模。当通道参数复杂度在空间和时间维度上扩展时，我们利用分组卷积来进行通道划分，实现通道维度信息的分配。进一步作为本专利技术优选实施例，所述将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果这一步骤，其具体包括；将视频帧图像输入到预设的卷积神经网络；依次经过残差层、两个R(2+1)D块和Decoupled-3D模块对视频帧图像的数据进行卷积操作，经过池化层进行下采样，最后基于全连接层对特征进行分类，得到识别结果。进一步作为本专利技术优选实施例，经过Decoupled-3D模块对视频帧图像的数据进行卷积操作具体为数据进入Decoupled-3D模块后依次进行空间卷积、归一化、激活、时间卷积、归一化、激活操作，输出特征图。具体地，本专利技术用基于通道分解的部分解耦时空滤波器设计形成Decoupled-3D模本文档来自技高网...

【技术保护点】
1.一种基于部分解耦条件下通道分配的动作识别方法，其特征在于，包括以下步骤：/n获取视频信息并对视频信息进行处理，抽取视频帧图像；/n将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；/n所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled-3D模块、池化层和全连接层。/n

【技术特征摘要】
1.一种基于部分解耦条件下通道分配的动作识别方法，其特征在于，包括以下步骤：
获取视频信息并对视频信息进行处理，抽取视频帧图像；
将视频帧图像输入到预设的卷积神经网络进行动作识别，得到识别结果；
所述预设的卷积神经网络包括残差层、两个R(2+1)块、Decoupled-3D模块、池化层和全连接层。


2.根据权利要求1所述一种基于部分解耦条件下通道分配的动作识别方法，其特征在于，所述获取视频信息并对视频信息进行处理，抽取视频帧图像这一步骤，其具体包括：
获取视频并将视频按某一帧率裁剪成画面帧，选取连续的画面帧图像；
将选取的画面帧图像按预设规则裁剪尺寸，得到视频帧图像。


3.根据权利要求2所述一种基于部分解耦条件下通道分配的动作识别方法，其特征在于，所述Decoupled-3D模块基于通道分解的部分解耦时空滤波器设计形成，所述Decoupled-3D模块包括部分解耦条件下利用通道分解形成的空间卷积层和时间卷积层。


4.根...

【专利技术属性】
技术研发人员：郑慧诚，程凤雯，张伟，刘泽华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44