基于非负矩阵分解的人体动作视频识别方法技术

本发明专利技术公开了一种基于非负矩阵分解的人体动作视频识别方法，克服了现有技术中动作视频特征的提取受背景环境的影响而导致识别率下降，且提取的特征维数过高而导致计算量过大的问题。本发明专利技术的具体实现步骤如下：（1）数据集预处理；（2）检测空间兴趣点；（3）构建立方体；（4）构造特征矩阵；（5）训练字典；（6）分类。本发明专利技术能够有效克服人体动作视频识别过程中背景环境对特征提取的影响，提高人体动作视频的识别率，而且提取的特征维数较低，降低了人体动作视频识别过程的计算量和复杂性。

【技术实现步骤摘要】
基于非负矩阵分解的人体动作视频识别方法
本专利技术属于图像处理
，更进一步涉及视频图像中的一种基于非负矩阵分解的人体动作视频识别方法。本专利技术可用于智能监控、视频检索、人机交互、娱乐及体育运动分析等。
技术介绍
人体动作视频识别的目的在于，在成功实现动作跟踪、特征提取的基础上，通过分析获得的人体动作视频特征参数，自动识别人体动作视频类型。人体动作视频识别技术在视觉监督、人机交互、视频会议、虚拟现实等领域均有着广泛的应用前景。目前已经有很多种动作视频识别技术被提出，特别是目前利用广泛的基于整体运动特征的方法。它将人体运动区域从背景中分离出来，并对该区域的运动和表述进行整体性的描述，如轮廓、剪影、边缘、光流、梯度等。该方法能够编码较多的信息，因此具有较强的表现力，识别能力强，但是，由于这些方法提取特征复杂，计算量大，容易受到背景的影响，而且在场景复杂的情况下，整体特征的生成需要背景减除和目标跟踪等较多的预处理，识别结果往往不尽如人意。浙江大学申请的专利“一种基于模板匹配的视点无关的人体动作识别方法”(专利申请号：200810059129.4，公开号：CN101216896)中公开了一种基于模板匹配的方法。该方法首先为各个样例动作计算运动历史图并提取相应极坐标特征来构造动作模板，然后计算待定识别动作的特征并投射至模板动作子空间中得到低维坐标，计算坐标与模板球面之间的距离，选择最近的作为分类结果。该方法虽然操作简单，但是仍然存在的不足是，需要进行背景减除，易受到背景环境的影响，识别率低。上海交通大学申请的专利“一种人体动作识别的方法”(专利申请号：201310054812.X，公开号：CN103164694A)中公开一种计算机视觉与模式识别领域的人体动作识别的方法。该方法使用了一种包含时间和空间信息的特征来表达当前帧人体的运动状态，然后再通过一种图论半监督方法设计分类器，从而达到识别人体动作的目的。该方法虽然在观察角度不同时取得较高的识别率，但是仍然存在的不足是：特征维数较高，计算量大，容易受到外部光照变化的影响，适用性不不强。
技术实现思路
本专利技术目的是针对上述已有技术的不足，提出的一种基于非负矩阵分解的人体动作视频识别方法。本专利技术与现有人体动作视频识别技术相比识别率高，适用性强。实现本专利技术目的的具体思路是，在充分考虑人体动作视频特征提取易受背景环境、尺度变化的影响且提取的特征维数较高的情况下，先将输入的人体动作视频图像预处理，采用多尺度2DHarris关键点检测算子提取空间兴趣点，构建由图像块组成的立方体，提取每个立方体的特征向量，相互连接构造特征矩阵，再利用特征矩阵来训练出一个超完备字典，采用正交匹配跟踪OMP公式，计算人体动作视频测试集特征矩阵的稀疏表示系数向量，再采用稀疏重构公式，对人体动作视频测试集特征矩阵进行稀疏重构，得到残差矩阵，最后根据残差矩阵元素值对人体动作视频测试集进行分类。本专利技术在特征提取过程中采用检测空间兴趣点的方法，没有采用背景分割的方法，从而能准确的从背景环境中提取出包含人体动作部分的图像，识别率高，其次，采用多尺度2DHarris检测算子，检测空间兴趣点不受光照及尺度变化的影响，所以具有更强的适用性。本专利技术实现的具体步骤包括如下：(1)预处理视频图像：(1a)输入90个人体动作视频图像；(1b)在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集；(1c)利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列；(1d)对单幅图片序列进行隔行采样，获得预处理的降采样图片序列；(2)检测空间兴趣点：(2a)分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段；(2b)在每段降采样图片序列的第一帧图片中，采用多尺度2DHarris检测算子公式，计算获得每段降采样图片序列的第一帧图片中所有像素点处的响应值；(2c)将每段降采样图片序列的第一帧图片中像素点处的响应值大于等于1000的像素点定义为空间兴趣点；(3)构建立方体：(3a)在每个空间兴趣点所在的第一帧图片上，截取一个以空间兴趣点为中心，以24个像素点为边长的正方形图像块；(3b)沿着人体动作视频的时域方向，在第一帧图片之后的所有降采样图像序列的相同位置处截取一个正方形图像块，将所提取的正方形图像块，按照每帧图片在人体动作视频中的先后顺序排列组成一个立方体；(4)构造特征矩阵：(4a)用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体；(4b)用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体；(4c)计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵；(4d)将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a；(4e)对人体动作视频训练样本集和测试样本集所有去均值立方体，重复步骤(4d)，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量；(4f)将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵；(5)训练字典：采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：X≈D×Hs.t.||X-DH||22≤ε其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||2表示取二范数操作，ε表示满足约束条件的值；(6)分类：(6a)采用正交匹配跟踪OMP公式，利用超完备字典，计算10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量；(6b)采用稀疏重构公式，分别利用10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量，得到10个人体动作视频测试集特征矩阵各自的稀疏重构矩阵；(6c)用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵；(6d)对10个人体动作视频测试集特征矩阵，重复步骤(6c)，得到10个与每类人体动作视频相对应的残差矩阵；(6e)从10个与每类人体动作视频相对应的残差矩阵中，分别找到每个残差矩阵中矩阵元素的最小值，将每个人体动作视频测试集归入与各自残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。本专利技术与现有的技术相比具有以下优点：第一，由于本专利技术采用检测空间兴趣点的方法，能准确的从背景环境中提取出包含人体动作部分的图像，克服了现有技术中人体动作视频特征的提取需要进行背景减除，易受背景环境影响，影响识别结果的问题，使得本专利技术在人体动作视频识别时提高了识别率。第二，由于本专利技术采用多尺度2DHarris检测算子，检测空间兴趣点不受光照及尺度变化的影响，克服了现有技术本文档来自技高网...

【技术保护点】
一种基于非负矩阵分解的人体动作视频识别方法，包括如下步骤：(1)预处理视频图像：(1a)输入90个人体动作视频图像；(1b)在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集；(1c)利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列；(1d)对单幅图片序列进行隔行采样，获得预处理的降采样图片序列；(2)检测空间兴趣点：(2a)分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段；(2b)在每段降采样图片序列的第一帧图片中，采用多尺度2DHarris检测算子公式，计算获得每段降采样图片序列的第一帧图片中所有像素点处的响应值；(2c)将每段降采样图片序列的第一帧图片中像素点处的响应值大于等于1000的像素点定义为空间兴趣点；(3)构建立方体：(3a)在每个空间兴趣点所在的第一帧图片上，截取一个以空间兴趣点为中心，以24个像素点为边长的正方形图像块；(3b)沿着人体动作视频的时域方向，在第一帧图片之后的所有降采样图像序列的相同位置处截取一个正方形图像块，将所提取的正方形图像块，按照每帧图片在人体动作视频中的先后顺序排列组成一个立方体；(4)构造特征矩阵：(4a)用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体；(4b)用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体；(4c)计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵；(4d)将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a；(4e)对人体动作视频训练样本集和测试样本集所有去均值立方体，重复步骤(4d)，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量；(4f)将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵；(5)训练字典：采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：X≈D×H   s.t.||X‑DH||22≤ε其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||2表示取二范数操作，ε表示满足约束条件的值；(6)分类：(6a)采用正交匹配跟踪OMP公式，利用超完备字典，计算10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量；(6b)采用稀疏重构公式，分别利用10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量，得到10个人体动作视频测试集特征矩阵各自的稀疏重构矩阵；(6c)用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵；(6d)对10个人体动作视频测试集特征矩阵，重复步骤(6c)，得到10个与每类人体动作视频相对应的残差矩阵；(6e)从10个与每类人体动作视频相对应的残差矩阵中，分别找到每个残差矩阵中矩阵元素的最小值，将每个人体动作视频测试集归入与各自残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。...

【技术特征摘要】
1.一种基于非负矩阵分解的人体动作视频识别方法，包括如下步骤：(1)预处理视频图像：(1a)输入90个人体动作视频图像；(1b)在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集；(1c)利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列；(1d)对单幅图片序列进行隔行采样，获得预处理的降采样图片序列；(2)检测空间兴趣点：(2a)分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段；(2b)在每段降采样图片序列的第一帧图片中，采用多尺度2DHarris检测算子公式，计算获得每段降采样图片序列的第一帧图片中所有像素点处的响应值；(2c)将每段降采样图片序列的第一帧图片中像素点处的响应值大于等于1000的像素点定义为空间兴趣点；(3)构建立方体：(3a)在每个空间兴趣点所在的第一帧图片上，截取一个以空间兴趣点为中心，以24个像素点为边长的正方形图像块；(3b)沿着人体动作视频的时域方向，在第一帧图片之后的所有降采样图像序列的相同位置处截取一个正方形图像块，将所提取的正方形图像块，按照每帧图片在人体动作视频中的先后顺序排列组成一个立方体；(4)构造特征矩阵：(4a)用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体；(4b)用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体；(4c)计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵；(4d)将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a；(4e)对人体动作视频训练样本集和测试样本集所有去均值立方体，重复步骤(4d)，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量；(4f)将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵；(5)训练字典：采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：X≈D×Hs.t.||X-DH||22≤ε其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||2表示取二范数操作，ε表示满足约束条件的值；(6)分类：(6a)采用正交匹配跟踪OMP公式，利用超完备字典，计...

【专利技术属性】
技术研发人员：韩红，曹赛，洪汉梯，李楠，陈建，史媛媛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61