【技术实现步骤摘要】
基于竞合网络的双流卷积网络的人体动作识别系统及方法
本专利技术涉及计算机视觉领域，具体涉及人体动作识别的分析研究，更具体地涉及一种基于竞合网络架构的双流卷积网络的人体动作识别系统及方法。
技术介绍
在信息社会中，图片信息和视频信息在所有感官信息中占到很大比重。计算机视觉是运用照相机和计算机来获取有关被拍摄对象的数据与信息的学科，能够对图片信息和视频信息进行自动、高效的处理，因此，计算机视觉领域受到了越来越多的关注，在这一领域中，人体动作识别是一个重要的研究方向，不论是智能监控、视频安防还是虚拟现实技术，都需要人体动作识别技术的支持。在众多人体动作识别技术中，双流卷积网络通过模拟人体的视觉感受以及对视频信息的理解，不仅对图像的空间信息进行提取，还对视频帧序列中的时间信息进行了理解。人体动作识别的一般步骤为：首先对视频进行运动目标检测，再对检测出的运动目标进行特征提取，最后将提取特征进行分类识别。传统的动作识别方法往往从二维入手进行研究，但效果并不理想。近年来，深度学习的发展及其在人体动作识别方面的应用，提出了许多关于自...
【技术保护点】
1.一种基于竞合网络的双流卷积网络的人体动作识别系统，其包括：/n视频输入部分，包括待识别视频的视频多帧图像序列以及视频单帧+视频多帧图像序列；/n特征提取部分，连接所述视频输入部分，其包括空间流卷积网络与时间流卷积网络，分别对所述视频多帧图像序列与所述视频单帧+视频多帧图像序列中实现动静态像素分割的帧与帧之间的密集光流进行特征提取和分类；/n结果融合部分，连接所述特征提取部分，其包括融合网络，将所述时间流卷积网络和所述空间流卷积网络输出的分类结果进行结果融合；/n其特征在于，还包括：/n竞合网络，包括在所述特征提取部分中，并连接所述时间流卷积网络，其包含的四个网络分别对所...
【技术特征摘要】
1.一种基于竞合网络的双流卷积网络的人体动作识别系统，其包括：
视频输入部分，包括待识别视频的视频多帧图像序列以及视频单帧+视频多帧图像序列；
特征提取部分，连接所述视频输入部分，其包括空间流卷积网络与时间流卷积网络，分别对所述视频多帧图像序列与所述视频单帧+视频多帧图像序列中实现动静态像素分割的帧与帧之间的密集光流进行特征提取和分类；
结果融合部分，连接所述特征提取部分，其包括融合网络，将所述时间流卷积网络和所述空间流卷积网络输出的分类结果进行结果融合；
其特征在于，还包括：
竞合网络，包括在所述特征提取部分中，并连接所述时间流卷积网络，其包含的四个网络分别对所述视频单帧+视频多帧图像序列进行训练并实现动静像素分割，输出只包含运动像素的光流图像序列。
2.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述竞合网络包括静态区域网络、动态区域网络和运动分割网络，所述静态区域网络包括深度估计网络和相机运动网络，所述动态区域网络为光流网络。
3.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述时间流卷积网络为中等规模卷积网络，所述中等规模卷积网络包括5层卷积层、2层全连接层和一层softmax，其输入图像尺寸为224×224，第一层卷积层的卷积核尺寸为7×7，卷积步长为2，第二层卷积层的卷积核尺寸为5×5，卷积步长为2，第三层至第五层卷积层的卷积核尺寸均为3×3，卷积步长为1。
4.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述空间流卷积网络为卷积3D网络，所述卷积3D网络具有8个卷积层、5个池化层、两个全连接层以及一个softmax输出层，所有3D卷积滤波器均为3×3×3，步长为1×1×1，池化层1核大小为1×2×2、步长1×2×2，其余所有3D池化层均为2×2×2，步长为2×2×2，每个全连接层有4096个输出单元。
5.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述融合网络为多类支持向量机，所述多类支持向量机在其损失函数的计算中添加L2范式的正则化惩罚以消除特定权重的模糊性，所述L2范式的正则化惩罚为通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重，公式如下：
式中，W为权重，k表示W中元素的行向量，l表示W中元素的列向量；
多类支持向量机的整体损失函数为：
式中，xi为第i个数据中包含的图像特征，yi代表正确类别的标签，f(xi,W)为线性评分函数以计算不同分类类别的分值，属于第j类的得分为f(xi,W)j，N为训练样本的数目，λ为超参数，△为正确类别yi的得分...
【专利技术属性】
技术研发人员：叶青，李汭，张永梅，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。