一种基于协方差描述符的人类行为识别方法技术

本发明专利技术公开了一种基于协方差描述符的人类行为识别方法，所述方法包括以下步骤：利用关节序列构建样本协方差矩阵，将矩阵上三角形作为协方差描述符；通过使用分层结构将时间信息添加到该协方差描述符中；利用动态编程方法，在时间维度上进行积分计算，加快协方差描述符的构造，得到最终协方差描述符。本发明专利技术利用人体关节信息构建了传统协方差矩阵，然后在其中加入时间信息，最后通过时间积分，得到了最终的描述符。

【技术实现步骤摘要】
一种基于协方差描述符的人类行为识别方法
本专利技术涉及人类行为识别领域，尤其涉及一种基于协方差描述符的人类行为识别方法。
技术介绍
人类行为识别是机器视觉研究领域的众多挑战性问题之一，它在不同领域都有许多重要的应用，目前最活跃的这类领域之一是互动娱乐。最近，几款采用无触摸界面的游戏机大受欢迎，刺激了这个领域的研究。人体可以表示为由关节连接的刚性节段的铰接系统，人类运动可以被认为是这些刚性节段的空间构型的连续演变。因此，如果能够可靠地提取和跟踪人类骨骼，则可以通过对人类骨骼的时间演化进行分类来执行动作识别。对于真正无触摸的界面体验，游戏控制台(如微软的XBox)部署了一款低成本的深度传感器——Kinect传感器。可以通过分析Kinect传感器捕获的深度数据以实时估计玩家的身体骨骼[1]，其可以进一步分析以识别人的动作或手势。据推测，单独使用骨骼数据进行动作识别可以比使用其他低级图像的数据表现更好[2]。已经知道该方法在识别游戏控制台中的简单用户手势方面非常有效。然而，能够用它获得多大的成功，及其在非娱乐应用中的实用性还都尚未得到充分探索。在人类行为识别领域中，主要面临三个挑战：(1)捕获数据的可用性和质量使用运动捕捉系统捕获的骨骼数据(如HDM05数据库[3])虽然精确但是获取成本很高，而使用Kinect和其他低成本深度传感器采集数据相对来说成本低廉，但精度会低一些，不过某些应用仍然可以接受精度上的损失。(2)找到行动序列的可靠和有区别的特征描述有三种常见类型的动作描述符：整个序列，单个帧和兴趣点描述符。后两个描述符需要描述符聚合和时间建模的附加步骤以实现识别目标。(3)对动作的动态进行建模通常使用通过生成模型[4]或辨别模型[5]的序列进行分析，但是由于要估计的参数数量众多，这些模型需要大量的数据样本和训练时间来准确估计其模型参数。
技术实现思路
本专利技术提供了一种基于协方差描述符的人类行为识别方法，本专利技术利用人体关节信息构建了传统协方差矩阵，然后在其中加入时间信息，最后通过时间积分，得到了最终的描述符，详见下文描述：一种基于协方差描述符的人类行为识别方法，所述方法包括以下步骤：利用关节序列构建样本协方差矩阵，将矩阵上三角形作为协方差描述符；通过使用分层结构将时间信息添加到该协方差描述符中；利用动态编程方法，在时间维度上进行积分计算，加快协方差描述符的构造，得到最终协方差描述符。其中，所述协方差描述符具体为：其中，S是所有关节位置的向量，即S＝[x1,…,xK,y1,…,yK,z1,…,zK]'，其具有N＝3K个元素，(xK,yK,zK)为第K个关节的三维坐标，xK为X轴坐标，yK为Y轴坐标，zK为Z轴坐标，T为总的帧数，是S的样本均值，′是转置运算符。进一步地，所述最终协方差描述符具体为：其中M＝t2-t1，本专利技术提供的技术方案的有益效果是：1、本专利技术提出的协方差描述符具有固定长度，与序列长度无关；2、尽管描述符计算简单，但在其基础上训练得到的线性SVM分类器优于多个数据库中的现有技术方法。附图说明图1为一种基于协方差描述符的人类行为识别方法的流程图；图2为协方差描述符的构造过程；图3为协方差描述符的时间构造；图4为Kinect传感器捕获的关节位置和名称；表1为各方法在MSR-Action3D数据库上的比较结果；表2为在MSR-Action3D上使用不同级别时间层次中的结果，L表示层级，OL表示允许重叠；表3为MSRC-12数据库中的手势类和每个类的注释实例数；表4为使用不同实验设置和描述符配置在MSRC-12数据库上的分类准确度；表5为与基准方法相比，采用三个层次的新描述符在HDM05数据库上的分类准确度。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。为了解决
技术介绍
中存在的问题，本专利技术实施例提出了一种基于协方差描述符的人类行为识别方法，对于人类行为识别任务来说，本方法提高了当前最高的水平，且提高的幅度是相当大的。现有技术中已经知道使用骨骼数据在识别简单用户手势方面非常有效，并且协方差描述符已经成功应用于物体检测，纹理分类和行人检测[6]，然而其对于人类行为识别方面的作用还尚未得到充分探索。本专利技术实施例提出了一种基于协方差描述符的人类行为识别方法，参见图1，该方法包括以下步骤：101：利用关节序列构建样本协方差矩阵，将矩阵上三角形作为协方差描述符；假设身体由K个关节表示，并且动作在T帧上执行。令和是帧t处的第i个关节的x，y和z坐标。设S是所有关节位置的向量，即S＝[x1,…,xK,y1,…,yK,z1,…,zK'，]其具有N＝3K个元素。然后，序列的协方差描述符是Cov(S)。通常，S的概率分布是未知的，样本协方差由下面的方程给出：其中，是S的样本均值，′是转置运算符。在样本协方差矩阵中，C(S)是对称的N×N矩阵。对于描述符，本专利技术实施例只使用其上三角形。例如，对于具有20个关节的骨骼(如图2所示)，N＝3×20＝60。在这种情况下，协方差矩阵的上三角形是N(N+1)/2＝1830，这是描述符的长度。102：通过使用分层结构将时间信息添加到该协方差描述符中；该协方差描述符捕获了在执行动作期间不同位置关节对彼此的依赖性。但是，它没有及时捕捉到运动的顺序。因此，如果给定序列的帧被打乱顺序，则协方差矩阵不会改变。这会导致出现问题，例如，当两个活动是彼此相反的时间顺序时，比如“推和拉”这两个动作。为了将时间信息添加到该描述符，本专利技术实施例使用了层次结构，其受到2D图像中空间金字塔匹配[7]的思想的启发，分层结构如图3所示。顶层描述符是在整个视频序列上计算的。较低级别是在整个序列的较小窗口(重叠或不重叠)上计算的。图3仅显示了层次结构中的两个级别。每个协方差矩阵由两个索引标识：第一个是层次级别索引，第二个是级别内的索引。顶级矩阵覆盖整个序列，用C00表示。在级别l上的协方差矩阵在序列的T/2l帧上计算。从一个窗口到下一个窗口的步长是窗口长度的一半。如果步长是窗口长度的一半，则窗口彼此重叠。在图3中，第二级中的协方差矩阵重叠。添加更多级别并允许重叠增强了分类器使用描述符区分动作的能力。但是，添加的层越多并允许重叠会增加描述符的长度。对于图3中的描述符配置，用20个关节表示的骨架会导致产生长度为4×1830＝7320的描述符。103：利用动态编程方法，在时间维度上进行积分计算，加快协方差描述符的构造，得到最终的协方差描述符。创建多层的时间层次并允许重叠，这就要求为相同序列的子序列计算多个协方差矩阵。在这里可以部署动态编程方法，以便在执行一些预计算之后，在恒定时间内使矩阵每个元素的计算成为可能。其中对图像使用协方差叫积分图像[7]，以及用于时空视频的协方差叫的积分视频[8]。在此可以应用相同的概念，区别在于仅在时间维度上需要积分，可以将其称为积分信号。按照积分图像中的类似符号，本专利技术实施例将两个积分信号P(t)和Q(t)定义为：在一些代数操作之后，可以得到以下公式来计算从t1+1到t2帧内的协方差矩阵，包括：其中，M＝t2-t1，推导的细节是积分图像中相应2D版本的直接简化。在计算了信号积分P和Q后，本专利技术实施例可以使用公式(4)计算任何时间范围内的协方差矩本文档来自技高网...

【技术保护点】
1.一种基于协方差描述符的人类行为识别方法，其特征在于，所述方法包括以下步骤：利用关节序列构建样本协方差矩阵，将矩阵上三角形作为协方差描述符；通过使用分层结构将时间信息添加到该协方差描述符中；利用动态编程方法，在时间维度上进行积分计算，加快协方差描述符的构造，得到最终协方差描述符。

【技术特征摘要】
1.一种基于协方差描述符的人类行为识别方法，其特征在于，所述方法包括以下步骤：利用关节序列构建样本协方差矩阵，将矩阵上三角形作为协方差描述符；通过使用分层结构将时间信息添加到该协方差描述符中；利用动态编程方法，在时间维度上进行积分计算，加快协方差描述符的构造，得到最终协方差描述符。2.根据权利要求1所述的一种基于协方差描述符的人类行为识别方法，其特征在于，所述协方差描...

【专利技术属性】
技术研发人员：苏育挺，陈耀，吕卫，井佩光，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12