一种融合全局时空特征的卷积神经网络人体动作识别方法技术

一种融合全局时空特征的卷积神经网络人体动作识别方法，它属于人体动作识别技术领域。本发明专利技术解决了传统动作识别方法存在的动作识别的准确率较低的问题。本发明专利技术选用InceptionV3基础网络结构，建立空间通道网络和全局时域通道网络，将UCF101视频数据集切割成单帧静态图像，将单帧静态图像分为训练和测试集对空间通道网络训练和测试；计算训练和测试集中单帧静态图像对应的能量运动历史图，对全局时域通道网络进行训练和测试；对训练好的空间通道网络和全局时域通道网络的参数微调，将概率平均值最大的类别作为待识别视频序列的每帧静态图像的动作识别结果，本发明专利技术方法的动作识别准确率可以达到87％以上。本发明专利技术可以应用于人体动作识别技术领域用。

【技术实现步骤摘要】
一种融合全局时空特征的卷积神经网络人体动作识别方法
本专利技术属于人体动作识别
，具体涉及一种融合全局时空特征的卷积神经网络人体动作识别方法。
技术介绍
由于在人机交互、智能交通系统、视频监控等多个领域的巨大需求，人体的动作识别越来越受到计算机视觉领域的重视。为了能使计算机识别来自不同场景的动作，其核心是利用判别特征来表征动作，然后对其进行分类。与静态图像识别不同，除了空间运动特征外，还有更为重要的时间运动特征，那么，如何有效提取动作的空间运动特征和时间运动特征是人体动作识别要解决的两个主要问题。传统的动作识别方法侧重于手工提取有效的时空特征，然后使用不同的分类器对特征进行分类。基于手工特征的动作识别方法的第一步是提取局部特征，在各种外观特征中，方向梯度直方图(HOG)因其对人体空间运动特征的高鲁棒性和高效性而被广泛研究。受HOG的启发，Laptev等人将HOG与光流相结合，设计了光流直方图(HOF)。此外，HOG还被扩展为HOG-3D来提取时空特征。Wang和Schmid提出融合了HOG、HOF和运动边界直方图(MotionBoundaryHistograms，MBH)的密集轨迹算法(DenseTrajectories，DT)。在此基础上，又提出了改进的密集轨迹算法(ImprovedDenseTrajectories，iDT)，主要引进了对背景光流的消除方法，使得所提取的运动特征更集中于对人体动作的描述。同时，Harris-3D、Hessian-3D和3D-SIFT等都是常用的局部描述子。随着CNNs在图像分类领域取得的巨大成功，人们尝试从原始图像通过多层的卷积层和池化层自动学习动作特征。与图像分类相比动作具有时间运动特征，用于动作识别的CNNs通常会比较复杂，大多数基于CNNs的动作识别方法按照两个步骤来实现：首先利用静态图像建立空间CNNs，然后在时间上将它们融合，这就导致动作之间的时间关系丢失，因此Ji等人设计了3D-CNNs架构，提出通过3D卷积核去提取视频数据的时间和空间特征，这些3D特征提取器在空间和时间维度上操作，因此可以捕捉视频流的运动信息，但是动作识别的准确率较低。
技术实现思路
本专利技术的目的是为解决传统动作识别方法存在的动作识别的准确率低的问题。本专利技术为解决上述技术问题采取的技术方案是：步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P1,P2，…，PN；步骤四、建立全局时域通道卷积神经网络，所述全局时域通道卷积神经网络仅在空间通道卷积神经网络的输入层之后增加一层卷积核尺寸为3×3的卷积层，其余的网络结构与空间通道卷积神经网络相同；步骤五、利用步骤二训练集中每帧静态图像对应的能量运动历史图来训练步骤四建立的全局时域通道卷积神经网络；利用步骤二测试集中每帧静态图像对应的能量运动历史图来测试全局时域通道卷积神经网络；步骤六、对步骤五训练好的全局时域通道卷积神经网络的参数进行微调后，利用步骤三训练集和测试集的每帧静态图像对应的能量运动历史图对全局时域通道卷积神经网络进行训练和测试，输出待识别视频序列每帧静态图像对应的能量运动历史图的各个类别的概率值P1′,P2′，…，PN′；步骤七、在待识别视频序列中，分别将每帧静态图像对应的空间通道卷积神经网络输出与全局时域通道卷积神经网络输出融合，即计算出每帧静态图像的每个类别的概率平均值将概率平均值最大的类别作为每帧静态图像的动作识别结果。本专利技术的有益效果是：本专利技术提供了一种融合全局时空特征的卷积神经网络人体动作识别方法，本专利技术建立空间通道卷积神经网络和全局时域通道卷积神经网络，利用UCF101视频数据集对建立的空间通道卷积神经网络和全局时域通道卷积神经网络进行训练和测试；将待识别视频序列的每帧静态图像输入训练好的空间通道卷积神经网络，对网络参数进行微调后，进行训练和测试，并输出待识别视频序列的每帧静态图像对应的各个类别的概率值；将待识别视频序列的每帧图像对应的能量运动历史图依次输入训练好的全局时域通道卷积神经网络进行训练和测试，并输出待识别视频序列每帧静态图像对应的能量运动历史图的各个类别的概率值；再将空间通道卷积神经网络和全局时域通道卷积神经网络的输出结果融合，得到待识别视频序列中每帧静态图像的动作识别结果；与传统的动作识别方法相比，本专利技术的动作识别方法的识别准确率可以提高至87％以上。本专利技术融合了人体动作的空间和时间特征，对人体动作的识别起到很好的作用。附图说明图1为本专利技术所述的一种融合全局时空特征的卷积神经网络人体动作识别方法的流程图；图2为本专利技术所述的空间通道多帧融合示意图；图中表示3帧静态图像的输出融合；图3为本专利技术所述的全局时域通道输入配置的示意图；其中：299×299×1为输入层，299×299×3为经过卷积层后的结果。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。具体实施方式一：结合图1说明本实施方式。本实施方式所述的一种融合全局时空特征的卷积神经网络人体动作识别方法，该方法的具体步骤为：步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P1,P2，…，PN；步骤四、建立全局时域通道卷积神经网络，所述全局时域通道卷积神经网络仅在空间通道卷积神经网络的输入层之后增加一层卷积核尺寸为3×3的卷积层，其余的网络结构与空间通道卷积神经网络相同；步骤五、利用步骤二训练集中每帧静态图像对应的能量运动历史图来训练步骤四建立的全局时域通道卷积神经网络；利用步骤二测试集中每帧静态图像对应的能量运动历史图来测试全局时域通道卷积神经网络；步骤六、对步骤五训练好的全局时域通道卷积神经网络的参数进行微调后，利用步骤三训练集和测试集的每帧静态图像对应的能量运动历史图对全局时域通道卷积神经网络进行训练和测试，输出本文档来自技高网...

【技术保护点】
1.一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，该方法的具体步骤为：步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P1,P2，…，PN；步骤四、建立全局时域通道卷积神经网络，所述全局时域通道卷积神经网络仅在空间通道卷积神经网络的输入层之后增加一层卷积核尺寸为3×3的卷积层，其余的网络结构与空间通道卷积神经网络相同；步骤五、利用步骤二训练集中每帧静态图像对应的能量运动历史图来训练步骤四建立的全局时域通道卷积神经网络；利用步骤二测试集中每帧静态图像对应的能量运动历史图来测试全局时域通道卷积神经网络；步骤六、对步骤五训练好的全局时域通道卷积神经网络的参数进行微调后，利用步骤三训练集和测试集的每帧静态图像对应的能量运动历史图对全局时域通道卷积神经网络进行训练和测试，输出待识别视频序列每帧静态图像对应的能量运动历史图的各个类别的概率值P1′,P2′，…，PN′；步骤七、在待识别视频序列中，分别将每帧静态图像对应的空间通道卷积神经网络输出与全局时域通道卷积神经网络输出融合，即计算出每帧静态图像的每个类别的概率平均值...

【技术特征摘要】
1.一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，该方法的具体步骤为：步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P1,P2，…，PN；步骤四、建立全局时域通道卷积神经网络，所述全局时域通道卷积神经网络仅在空间通道卷积神经网络的输入层之后增加一层卷积核尺寸为3×3的卷积层，其余的网络结构与空间通道卷积神经网络相同；步骤五、利用步骤二训练集中每帧静态图像对应的能量运动历史图来训练步骤四建立的全局时域通道卷积神经网络；利用步骤二测试集中每帧静态图像对应的能量运动历史图来测试全局时域通道卷积神经网络；步骤六、对步骤五训练好的全局时域通道卷积神经网络的参数进行微调后，利用步骤三训练集和测试集的每帧静态图像对应的能量运动历史图对全局时域通道卷积神经网络进行训练和测试，输出待识别视频序列每帧静态图像对应的能量运动历史图的各个类别的概率值P1′,P2′，…，PN′；步骤七、在待识别视频序列中，分别将每帧静态图像对应的空间通道卷积神经网络输出与全局时域通道卷积神经网络输出融合，即计算出每帧静态图像的每个类别的概率平均值将概率平均值最大的类别作为每帧静态图像的动作识别结果。2.根据权利要求1所述的一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，所述步骤一的具体过程为：选用InceptionV3为基础网络结构，去掉基础网络结构最后的全连接层后，从前往后依次增加神经元个数为1024的全连接层、神经元个数为256的全连接层和神经元个数为N个动作类别的全连接层。3.根据权利要求2所述的一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，所述步骤二的具体过程为：迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层的参数，即将模型的第1个卷积层到第3个Inception模块的参数迁移至步骤一建立的空间通道卷积神经网络，将UCF101视频数据集切割为尺寸299×299的标准输入单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，将训练集中的静态图像依次输入空间通道卷积神经网络，采用Adam梯度下降法进行训练，mini-batch大小设置为32，参数采用Keras默认参数，若对测试集静态图像的识别准确率至少连续10次都未增加，则停止训练。4.根据权利要求3所述的一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，所述步骤三中采集摔倒动作数据集作为待识别视频序列，待识别视频序列包括摔倒、走路和坐下的动作，每个动作包含M个视频序列，将M个视频序列随机分为训练集和测试集，且每个视频序列切割为K帧静态图像；对空间通道卷积神经网络的参数进行微调，即修改空间通道卷积神经网络最后一层的输出类别为3；将训练集静态图像依次输入参数微调后的空间通道卷积神经网络，采用Adam梯度下降法训练最后一层全连接层，训练至少10次epoch后，采用随机梯度下降法训练最后两层全连接层，学习率设置为0.0001，Momentum设置为0.9，...

【专利技术属性】
技术研发人员：李瑞峰，王珂，程宝平，武军，
申请(专利权)人：哈尔滨工业大学，中移杭州信息技术有限公司，
类型：发明
国别省市：黑龙江,23