基于四元数时空卷积神经网络的人体行为识别方法技术

本发明专利技术属于计算机视觉领域，具体涉及一种基于四元数时空卷积神经的人体行为识别方法。本发明专利技术具体实现步骤如下：（1）输入待识别的动作视频集；（2）图像预处理，提取人体运动的关键区域图像；（3）构建四元数时空卷积神经网络；（4）采用BP算法训练网络，输出训练结果；（5）输入视频测试集，输出测试结果。本发明专利技术利用码本模型提取人体运动区域图像，能够在复杂背景的情况下，检测出人体的运动。本发明专利技术的四元数时空卷积神经网络直接将彩色图像作为输入，解决了传统卷积神经网络将彩色图像转换为灰度图像或分通道处理过程中图像特征缺失的问题，提高了网络特征提取的性能，使得对人体行为的识别更加准确。

Human behavior recognition method based on four dimensional space time convolutional neural network

The invention belongs to the field of computer vision, in particular relates to a human action recognition method based on the space-time convolution nerve of four variables. The specific steps are as follows: (1) the input to identify the action video set; (2) image preprocessing, extracting the key image of human motion; (3) construction of four number space-time convolutional neural network; (4) using BP algorithm to train the neural network, the output of training; (5) input video test set the output test results. The present invention uses codebook model to extract human motion region image, and can detect human motion in complex background. The invention of the four element temporal convolution neural network directly to the color image as the input, to solve the traditional convolution neural network to convert color images to grayscale images or image feature missing channel processing problems, improve the network performance of feature extraction, the recognition of human behavior more accurately.

【技术实现步骤摘要】
基于四元数时空卷积神经网络的人体行为识别方法
本专利技术属于计算机视觉领域，更进一步涉及目标识别中基于四元数时空卷积神经网络的人体行为识别方法，本专利技术可用于人机交互、智能监控等应用中。
技术介绍
人体行为识别是计算机视觉、模式识别、图像处理以及人工智能等多学科交叉的一个重要研究方向，它在人机交互、智能监控和医疗领域均有着巨大的应用价值和理论意义。它主要针对包含人的运动图像序列进行分析处理，特征提取，运动分类，实现识别和理解人的个体动作、人与人之间的以及人与外界环境之间的交互行为。相对基于静止图像的目标分类，人体行为识别是一个复杂的动态过程，它不仅包含视频中单帧图像的空间特征，还包含多帧之间的时间特征。所以，有效提取视频中人体的行为特征是非常具有挑战性的课题。近年来，人体行为方法主要分为两类：基于人工特征提取的人体行为识别和基于深度学习的人体行为识别。基于人工特征提取的人体行为识别方法的步骤为特征提取、特征表达和动作分类，其中人工提取的特征包含光流直方图、梯度直方图和时空兴趣点等。然而，这种方法对于不同视频数据集需要提取不同的特征，计算复杂度高，在现实环境下的应用存在局限性。有人提本文档来自技高网...

【技术保护点】
一种基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述方法具体为：(1)构建四元数时空卷积神经网络；(2)将包含多种人体动作的F组彩色图像表示为四元数的形式，将其中f组彩色图像作为训练集，将训练集作为训练样本输入所述四元数时空卷积神经网络，并利用BP算法训练训练集样本，得到训练好的四元数时空卷积神经网络；(3)将其他F‑f组彩色图像作为样本输入训练好的四元数时空卷积神经网络，利用训练好的四元数时空卷积神经网络将彩色图像分类，实现人体行为识别；所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；样本经空间卷积层、时间卷积层、下采样层循环P...

【技术特征摘要】
1.一种基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述方法具体为：(1)构建四元数时空卷积神经网络；(2)将包含多种人体动作的F组彩色图像表示为四元数的形式，将其中f组彩色图像作为训练集，将训练集作为训练样本输入所述四元数时空卷积神经网络，并利用BP算法训练训练集样本，得到训练好的四元数时空卷积神经网络；(3)将其他F-f组彩色图像作为样本输入训练好的四元数时空卷积神经网络，利用训练好的四元数时空卷积神经网络将彩色图像分类，实现人体行为识别；所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；样本经空间卷积层、时间卷积层、下采样层循环P次得到样本的特征图序列，全连接层将序列中每一个特征图都拉伸成一个特征向量，长短时记忆单元将特征向量输送至分类器，分类器依据特征向量将样本分类；所述四元数时空卷积神经网络包括3P+1层结构；F、f、P均为自然数。2.根据权利要求1所述基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述包含多种人体动作的F组彩色图像表示为四元数的形式为：彩色图像Q中(x,y)位置的像素用一个纯四元数表示，公式如下：Q(x,y)＝Qr(x,y)i+Qg(x,y)j+Qb(x,y)k或表示为向量的形式：Q(x,y)＝(Qr(x,y),Qg(x,y),Qb(x,y))其中，Qr(x,y)，Qg(x,y)和Qb(x,y)分别为像素的R,G和B通道的值；一张彩色图像可以表示为：Q＝(Qr,Qg,Qb)；所述四元数时空卷积神经网络的卷积核以四元数形式。3.根据权利要求1所述基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，在步骤(2)和步骤(3)中所述彩色图像经过预处理后作为样本输入，所述预处理方法为采用码本模型，以a×d的检测窗口提取图像中人体运动的关键区域，并保存区域图像；检测窗口的大小根据所述彩色图像中人体的大小进行选择，以在包括人体的条件下尽可能小的尺寸；a、d为常数。4.根据权利要求2所述的基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述空间卷积层的具体操作为：在四元数时空卷积层，卷积核被扩展成纯四元数的表示形式W＝(Wr,Wg,Wb)，按照下式的卷积操作，输入一张彩色图像Q＝(Qr,Qg,Qb)，第i层第j个特征图中(x,y)位置的卷积结果为：1W×Q＝(WgQb-WbQg,WbQr-WrQb,WrQg-WgQr)其中，f是sigmoid函数，bi,j是第i层第j个特征图的偏置，是第i层第j个特征图和第i-1层第p个特征图之间的卷积核的(n,m)位置的权值向量，N和M是卷积核的长和宽；Q(i-1),p(x+n,y+m)表示第i-1层第p个特征图Q中的(x+n,y+m)位置的像素；Zi,i(x,y)表示第i层第j个特征图中(x,y)位置的卷积结果；操作是两个纯四元数向量元素对应相乘，提取的是每个通道上的空间特征；×操作是叉积操作，提取的是不同颜色通道的空间关系。5.根据权利要求2所述的基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述时间卷积层的具体操作为：在时间卷积层分别提取三个颜色通道的近邻帧动态信息，四...

【专利技术属性】
技术研发人员：孟勃，刘雪君，王晓霖，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：吉林,22