一种视频序列中人体动作的识别方法技术

本发明专利技术公开了一种视频序列中人体动作的识别方法，本发明专利技术针对现有的视频图像中人体动作识别方法在准确率和实时性之间的矛盾而提出的。本发明专利技术的方法包括特征提取和特征训练与识别两个过程。在特征提取中，通过计算视频序列的差分边缘直方图，大大减少了所使用的视频特征，提高了识别的速度，满足了人体动作识别的实时性；通过对目标区域和若干个子区域分别求像素变化直方图和边缘梯度直方图，可以提高动作细节识别的准确率。本发明专利技术的方法既提高了识别的准确率又满足了识别的实时性。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，特别涉及一种人体动作的识别方法。
技术介绍
现在数字化网络化的步伐正在逐步加快，视频监控系统上升参与到全行业的管理 中已成为事实，以其直观性和实时性的优点而在各行各业特别是安全防范领域倍受青睐。 随着摄像机等监控设备成本的日益降低，视频监控系统可以广泛地应用于银行、邮电、监 狱、法庭、大型公共设施、大型仓库及军事基地等场所，公共安全领域起着日益重要的作用。 但是目前监控系统的功能大多仅仅停留在监控人员对视频信号的人工监视和事后录像分 析上，并没有充分利用到目前计算机技术高速发展所提供的巨大计算能力上。事实上，多数 监控系统还是模拟式的，少数数字式的系统也仅仅是提供多画面显示及硬盘录像类的简单 功能。现有的监控系统都不能实现实时主动的监督作用，即监控的智能化和无人化。智能 监控系统能实现全天实时监控，并自动分析摄像机捕捉的图像数据，当异常发生时，能向安 全保卫人员准确及时的发送警报，从而避免犯罪的发生，而视频监控的核心在于对人体动 作的识别。目前对人体动作的识别，主要有3种方法(1)模板匹配的方法；(2)状态空间的 方法；(3)基于模型的方法。模板匹配方法(template matching)其优点是算法单间容易实现，时间开销少，对 相差比较大的行为识别效果较好，但对细微差别的行为识别效果较差，对运动持续时间的 变化及噪声比较敏感。近年来，采用状态空间法开展人体动作行为识别的研究较多，具有代表性的是马 尔可夫网络，隐马尔可夫模型(HMM，Hidden Markov Model)已经被广泛应用于视频、图像 序列的预测、估计、检测与行为识别中。然而，状态空间法需要大量的训练样本来训练状态 转移概率参数其准确度受到训练样本数量影响很大，状态序列识别过程其原理也是模板匹 配，而由于行为的复杂性只靠模板匹配显然是不够的。现在更多的人体动作行为识别研究者更倾向于把目光投向使用自然语言描述的 方法对人体动作行为进行识别，使得人体动作行为的语义描述分析研究得到了一定的进 展，用于视频图像中人体动作行为的自然语言描述，如建立2D、3D模型首先，使用3D模型 对人体瞬时姿势描述，使构建的模型尽可能与人体目标姿态相似，即图像中人体的边缘信 息，或是把行为看成是2D静态姿势序列，通过基于模型的方法，对人体二维、三维姿势、角 度、位置以及与环境中其它一些目标相对距离的变化等进行重建与估计最后生成人体动作 行为描述的自然语言文本。但基于模型的方法的构建复杂度高难于实现，而目前自然语言 描述的特征提取方法提取的特征非常的多，一个一百帧左右的视频提取出几百到几千个特 征，处理时间开销大，因而不易于应用于实时系统。最近国外主要是以自然语言描述和各种 概率模型的建立来进行为识别，但行为识别仍处于初级阶段。上述各种方法不能在识别正确率和实时性之间达到平衡，即要么识别正确率比较高，但计算复杂度高，实时性差；要么计算复杂度低，实时性好，但识别正确率比较低。
技术实现思路
本专利技术的目的是为了解决现有的视频图像中人体动作识别方法在准确率和实时 性之间的矛盾，提出了。本专利技术的技术方案是，包括特征提取和特 征训练与识别两个过程，其中，特征提取包括如下步骤Si.计算视频序列的像素运动变化频率图；S2.划分像素运动变化频率图的区域，确定像素运动变化频率图中值大于某一阈 值的区域，找到该区域中的像素的最小纵坐标和最小横坐标，以及最大纵坐标和最大横坐 标，然后以此最小纵坐标和最小横坐标，最大纵坐标和最大横坐标确定一个目标区域，并按 一定的比例在纵轴或横轴方向上划分若干个子区域；S3.对目标区域和若干个子区域分别求像素变化直方图，具体如下S31.将目标区域的像素运动变化频率图中的值非均勻量化为N个量化值；S32.分别求出目标区域和若干个子区域各个量化值对应在像素运动变化频率图 中的值的和，这样每个区域就得到一个N维的直方图；S33.将目标区域和若干个子区域的直方图平铺成一个多维的向量并归一化，得到 像素变化直方图；S4.对目标区域和若干个子区域分别求边缘梯度直方图；S5.计算视频序列的差分边缘直方图，具体过程如下计算当前帧与前一帧的差 分图像，如果差分图像绝对值中的元素的最大值大于预设定的阈值，计算差分图像的边缘 直方图，得到差分边缘直方图；S6.求运动直方图，计算视频序列的运动历史图，对得到的运动历史图求边缘梯度 直方图，进而得到运动直方图；S7.将步骤S3得到的像素变化直方图、步骤S4得到的边缘梯度直方图、步骤S5得 到的差分边缘直方图和步骤S6得到的运动直方图平铺成一个特征池，为最终得到的视频 序列特征。上述特征训练与识别具体包括如下步骤S8.对视频序列特征在线字典训练与学习，得到字典；S9.用字典对视频序列特征进行k近邻局部约束线性编码；S10.对编码后得到的编码特征进行监督距离度量学习得到一个马氏距离转换矩 阵代替欧氏距离k均值聚类形成码书，然后计算每个视频编码后的特征对应于码书的统计 直方图；Sll.用tf_idf分类器对统计直方图进行分类，得到最终的识别结果。上述步骤S4求边缘梯度直方图的具体过程如下S41.对目标区域分别求出χ方向，y方向上的梯度px，py，并求出幅值平方和梯度 方向，然后再对幅值归一化；S42.把梯度方向量化为M个量化值，分别在各个区域求出各个量化区间的幅值的和，得到各个区间的直方图，为一种新的特征；S43.求各个区域的面积与各个区域幅值和的比值，然后将其与步骤S42得到直方 图相乘，得到另一种新的特征；S44.求各个区域各个量化值所对应该的幅值的和，同时求出其所对应的幅值个 数，各方向幅值的和与幅值个数的比值作为第三种新的特征。步骤Sl计算视频序列的像素运动变化频率图的具体过程如下将视频序列当前 三帧差分并把差值结果累积，得到一张与视频帧同样大小的图像，然后对其各个点的值取 平方再除以最大值，即为像素运动变化频率图。本专利技术的有益效果本专利技术的方法通过计算视频序列的差分边缘直方图，大大减 少了所使用的视频特征，提高了识别的速度，满足了人体动作识别的实时性；通过对目标区 域和若干个子区域分别求像素变化直方图和边缘梯度直方图，可以提高动作细节识别的准确率。附图说明图1是本专利技术的具体流程图。图2是本专利技术实施例的跑步的像素变化概率图的示意图。图3是本专利技术实施例的跑步像素变化概率图的统计直方图示意图。图4是本专利技术实施例的差分图像梯度幅值示意图。图5是本专利技术实施例的差分图像的边缘梯度直方图示意图。图6是本专利技术实施例的运动历史图示意图。图7是本专利技术实施例的运动历史图的边缘梯度直方图示意图。图8是本专利技术实施例的识别结果示意图。具体实施例方式为使本专利技术的技术方案更加清楚，下面结合附图和具体的实施例对本专利技术作进一 步的描述。本实施例以视频监控为例。先调好监控区域，在监控区域内对从摄像头采集 特定帧数图像，本实施例中帧数为100，也即是100帧构成一个视频，视频序列的大小为 240*320,以四个人体动作——“打架、伸手、跑步、走路”为例进行说明。本专利技术的视频序列中人体动作的识别方法，具体流程如图1所示，包括特征提取 和特征训练与识别两个过程，其中，特征提取包括如下步骤Si.计算视频序列的像素运动变化频率图本文档来自技高网...

【技术保护点】
１．一种视频序列中人体动作的识别方法，包括特征提取和特征训练与识别两个过程，其特征在于，特征提取包括如下步骤：Ｓ１．计算视频序列的像素运动变化频率图；Ｓ２．划分像素运动变化频率图的区域，确定像素运动变化频率图中值大于某一阈值的区域，找到该区域中的像素的最小纵坐标和最小横坐标，以及最大纵坐标和最大横坐标，然后以此最小纵坐标和最小横坐标，最大纵坐标和最大横坐标确定一个目标区域，并按一定的比例在纵轴或横轴方向上划分若干个子区域；Ｓ３．对目标区域和若干个子区域分别求像素变化直方图，具体如下：Ｓ３１．将目标区域的像素运动变化频率图中的值非均匀量化为Ｎ个量化值；Ｓ３２．分别求出目标区域和若干个子区域各个量化值对应在像素运动变化频率图中的值的和，这样每个区域就得到一个Ｎ维的直方图；Ｓ３３．将目标区域和若干个子区域的直方图平铺成一个多维的向量并归一化，得到像素变化直方图；Ｓ４．对目标区域和若干个子区域分别求边缘梯度直方图；Ｓ５．计算视频序列的差分边缘直方图，具体过程如下：计算当前帧与前一帧的差分图像，如果差分图像绝对值中的元素的最大值大于预设定的阈值。计算差分图像的边缘直方图，得到差分边缘直方图；Ｓ６．计算视频序列的运动历史图，对得到的运动历史图求边缘梯度直方图，得到运动直方图；Ｓ７．将步骤Ｓ３得到的像素变化直方图、步骤Ｓ４得到的边缘梯度直方图、步骤Ｓ５得到的差分边缘直方图和步骤Ｓ６得到的运动直方图平铺成一个特征池，为最终得到的视频序列特征。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李宏亮，覃耀辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：90