一种基于Kinect的人体坐姿行为识别方法和系统技术方案

本发明专利技术公开了一种基于Kinect的人体坐姿行为识别方法，包括：从人体姿态行为数据集获取骨架图像序列，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取图像的特征序列，使用K‑means对获得的帧图像的特征序列进行聚类处理，以得到多个聚类处理结果，使用PCA方法对得到的多个聚类处理结果进行处理，以得到多个按照主元信息的重要性从高到低排列的局部特征，使用特征编码算法对局部特征进行处理，以得到图像特征描述符，根据帧图像与骨架图像序列中其他帧图像的图像特征描述符构建全局损失函数，使用基于随机梯度下降算法对全局损失函数进行求解。本发明专利技术能够解决传统的健康坐姿检测方法在对“非正坐”状态进行坐姿行为检测时识别准确率低的技术问题。

A recognition method and system for human sitting posture based on Kinect

The invention discloses a Kinect-based human sitting behavior recognition method, which comprises: acquiring skeleton image sequence from the human posture behavior data set, acquiring image feature sequence from each frame image in the skeleton image sequence and its previous and subsequent frames, and using K_means to sequence the features of the acquired frame image. Line clustering is used to get multiple clustering results. PCA method is used to process the clustering results to get multiple local features arranged from high to low according to the importance of principal component information. Feature coding algorithm is used to process local features to get image feature descriptors. The global loss function is constructed by the image feature descriptors of other frames in the image and skeleton image sequences. The global loss function is solved by the stochastic gradient descent algorithm. The invention can solve the technical problem that the traditional healthy sitting posture detection method has low recognition accuracy when detecting the sitting posture behavior of the \non-sitting\ state.

【技术实现步骤摘要】
一种基于Kinect的人体坐姿行为识别方法和系统
本专利技术属于计算机视觉
，更具体地，涉及一种基于Kinect的人体坐姿行为识别方法和系统。
技术介绍
近年来，在医疗领域，人体姿态行为分析的应用变得越来越广泛，在疾病诊断、康复评估以及老年人日常监测等均有所涉及。具体来说，目前大多数的社会工作者都是在办公室进行工作，对于他们来说，坐姿是最为长久的工作姿态。医学研究表明，久坐与不良坐姿将会导致多种职业性肌肉骨骼疾病如腰椎间盘突出、颈椎病等。如今，已经有不少关于健康坐姿检测的方法，但这些方法针对坐姿不良的监测中，通常只考虑到了对人体骨骼信息进行角度分析，然后仅仅根据这一角度标准来判断人体坐姿行为是否健康。然而，在实际生活场景中，当人在处于“坐”的姿态时，除了正常的敲击键盘或书写这两种常规的姿态之外，更多的时候还可能会出现挥手、喝水、接听电话、拍手等其他坐姿状态(也可以被称为“非正坐”状态)下的生活动作，处于这些行为状态中的对象的骨骼信息角度可能也会发生改变，甚至不符合单纯的骨骼角度信息的检测框架，如果此时，仍然应用传统的健康坐姿检测方法对这些“非正坐”状态进行坐姿行为检测，则会导致检测结果出现相当大的偏差，实际场景应用性不高。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于Kinect的人体坐姿行为识别方法和系统，其目的在于，解决传统的健康坐姿检测方法在对“非正坐”状态进行坐姿行为检测时，检测结果偏差较大、识别准确率低的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种基于Kinect的人体坐姿行为识别方法，包括以下步骤：(1)从人体姿态行为数据集获取骨架图像序列，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征，并根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征，时间局部特征和空间局部特征共同构成特征序列fn,s，其中n∈[1,7]，s是骨架图像序列中的图像帧；(2)使用K-means对步骤(1)中获得的帧图像的特征序列进行聚类处理，以得到多个聚类处理结果；(3)使用PCA方法对步骤(2)得到的多个聚类处理结果进行处理，以得到多个按照主元信息的重要性从高到低排列的局部特征。(4)使用特征编码算法对步骤(3)得到的局部特征进行处理，以得到图像特征描述符；(5)根据帧图像与骨架图像序列中其他帧图像的图像特征描述符构建全局损失函数，使用基于随机梯度下降算法对全局损失函数进行求解，以得到使全局损失函数最小化的最佳线性变换函数；(6)使用得到的最佳线性变换函数对帧图像与骨架图像序列中其他帧图像的图像特征描述符进行处理，以得到帧图像与骨架图像序列中其他帧图像的相似度。(7)利用非参数K-近邻算法对步骤(6)中得到的帧图像与骨架图像序列中其他帧图像的相似度进行处理，以对所有图像进行行为分类。优选地，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征具体为：首先，按照人体部位将关节点划分成三个关节组，其中头部、左手、右手、左脚、右脚在时间变化过程中的位移矢量构成第一关节组，颈部、左手肘、右手肘、左膝、右膝在时间变化过程中的位移矢量构成第二关节组，脊柱、左肩、右肩、左臀、右臀在时间变化过程中的位移矢量构成第三关节组；然后，获取每一帧图像中不同关节点的时间位移矢量：其中1＜s＜τ，τ是骨架图像序列中图像帧的数量，是骨架图像序列中第s帧图像的第i个关节点在坐标系(X,Y,Z)中的坐标，表示骨架图像序列中第s帧图像的第i个关节点的时间位移矢量；最后，将以上获得的每一帧图像的不同关节点的时间位移矢量中属于同一关节组的时间局部特征组合起来，从而分别建立第一、第二和第三关节组的时间局部特征f1至f3。优选地，根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征具体为：首先，按照人体部位将关节点划分成4个关节组，其中头部、左手、右手各自与脊柱的相对位置矢量构成第四关节组，头部、左手、左脚各自与右臀的相对位置矢量构成第五关节组；头部、右手、右脚各自与左臀的相对位置矢量构成第六关节组；左手、右手各自与头部的相对位置矢量构成第七关节组；然后，获取每一帧图像中不同关节点的空间位移矢量：其中表示第s帧图像中第i个关节点相对于第j个关节点的空间位移矢量，且有i≠j；最后，将以上获得的每一帧图像的不同关节点的空间位移矢量中属于同一关节组的时间局部特征组合起来，从而分别建立第四、第五、第六和第七关节组的时间局部特征f4至f7。优选地，特征编码算法是局部特征聚合描述向量符算法；优选地，对局部特征进行处理，以得到图像特征描述符具体是：首先，采用以下公式计算：Fn,c＝[υn,c,1,...,υn,c,i,...,υn,c,k]其中Fn,c表示将第n个关节组对应的第c个聚类处理结果的多个残差向量υn,c,m串联得到的矢量，υn,c,k表示聚类处理过程中，簇集k中第c个初始化的子群n的局部特征集合，c＝{1,2,...C}，C表示聚类处理结果的数量，m＝{1,2,...,k}，k表示聚类处理结果中簇集的数量；μn,c,m表示第n个关节组对应的第c个聚类处理结果中第m个簇集对应的聚类中心，且有Sn,c,m＝{fn,s|m＝argminp||fn,s-μn,c,p||}其中p＝{1,2,...,k}，且有p≠m；然后，将帧图像中所有关节组和所有聚类处理结果对应的矢量Fn,c求和，就得到图像特征描述符。优选地，步骤(5)具体为：首先，构建全局损失函数如下：ε(L)＝(1-μ)εpull(L)+μεpush(L)+γ||LTL-I||2其中μ是分量εpush(L)和分量εpull(L)分量之间的比率，γ是正则化系数，I是单位矩阵，L表示线性变换，且有其中是帧图像的图像特征描述符，分量εpull(L)表示将真正目标样本拉近图像特征描述符作为同一类别的度量，分量εpush(L)表示在把图像特征描述符拉近特征向量的同时将实际不在同一类别的造成干扰的冒名顶替样本l推离图像特征描述符的度量，ξ是图像特征描述符与冒名顶替样本l之间的期望分离间隔，j→i表示图像特征描述符和图像特征描述符是同一类别的目标邻居样本，l是样本索引为i时的冒名顶替样本，表示图像特征描述符和图像特征描述符不是同一类别的目标邻居样本；然后，使用SGD算法求得使全局损失函数最小化的最佳线性变换函数L*：L*＝argminLε(L)。按照本专利技术的另一方面，提供了一种基于Kinect的人体坐姿行为识别系统，包括：第一模块，用于从人体姿态行为数据集获取骨架图像序列，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征，并根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征，时间局部特征和空间局部特征共同构成特征序列fn,s，其中n∈[1,7]，s是骨架图像序列中的图像帧；第二模块，用于使用K-means对第一模块中获得的帧图像的特征序列进行聚类处理，以得到多个聚类处理结果；第三模块，用于使用PCA方法对第二模块得到的多个聚类处理结果进行处理，以得到多个按照主元信息的重要性从高到低排列的局部特征。第四模块，用于使用特征编码算法对第三模块得到的局部特征进行处理，以得到图像特征描述符；第五模块本文档来自技高网...

【技术保护点】
1.一种基于Kinect的人体坐姿行为识别方法，其特征在于，包括以下步骤：(1)从人体姿态行为数据集获取骨架图像序列，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征，并根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征，时间局部特征和空间局部特征共同构成特征序列fn,s，其中n∈[1,7]，s是骨架图像序列中的图像帧；(2)使用K‑means对步骤(1)中获得的帧图像的特征序列进行聚类处理，以得到多个聚类处理结果；(3)使用PCA方法对步骤(2)得到的多个聚类处理结果进行处理，以得到多个按照主元信息的重要性从高到低排列的局部特征。(4)使用特征编码算法对步骤(3)得到的局部特征进行处理，以得到图像特征描述符；(5)根据帧图像与骨架图像序列中其他帧图像的图像特征描述符构建全局损失函数，使用基于随机梯度下降算法对全局损失函数进行求解，以得到使全局损失函数最小化的最佳线性变换函数；(6)使用得到的最佳线性变换函数对帧图像与骨架图像序列中其他帧图像的图像特征描述符进行处理，以得到帧图像与骨架图像序列中其他帧图像的相似度。(7)利用非参数K‑近邻算法对步骤(6)中得到的帧图像与骨架图像序列中其他帧图像的相似度进行处理，以对所有图像进行行为分类。...

【技术特征摘要】
1.一种基于Kinect的人体坐姿行为识别方法，其特征在于，包括以下步骤：(1)从人体姿态行为数据集获取骨架图像序列，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征，并根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征，时间局部特征和空间局部特征共同构成特征序列fn,s，其中n∈[1,7]，s是骨架图像序列中的图像帧；(2)使用K-means对步骤(1)中获得的帧图像的特征序列进行聚类处理，以得到多个聚类处理结果；(3)使用PCA方法对步骤(2)得到的多个聚类处理结果进行处理，以得到多个按照主元信息的重要性从高到低排列的局部特征。(4)使用特征编码算法对步骤(3)得到的局部特征进行处理，以得到图像特征描述符；(5)根据帧图像与骨架图像序列中其他帧图像的图像特征描述符构建全局损失函数，使用基于随机梯度下降算法对全局损失函数进行求解，以得到使全局损失函数最小化的最佳线性变换函数；(6)使用得到的最佳线性变换函数对帧图像与骨架图像序列中其他帧图像的图像特征描述符进行处理，以得到帧图像与骨架图像序列中其他帧图像的相似度。(7)利用非参数K-近邻算法对步骤(6)中得到的帧图像与骨架图像序列中其他帧图像的相似度进行处理，以对所有图像进行行为分类。2.根据权利要求1所述的人体坐姿行为识别方法，其特征在于，根据骨架图像序列中每一帧图像及其前一帧和后一帧图像获取该帧图像的时间局部特征具体为：首先，按照人体部位将关节点划分成三个关节组，其中头部、左手、右手、左脚、右脚在时间变化过程中的位移矢量构成第一关节组，颈部、左手肘、右手肘、左膝、右膝在时间变化过程中的位移矢量构成第二关节组，脊柱、左肩、右肩、左臀、右臀在时间变化过程中的位移矢量构成第三关节组；然后，获取每一帧图像中不同关节点的时间位移矢量：其中1＜s＜τ，τ是骨架图像序列中图像帧的数量，是骨架图像序列中第s帧图像的第i个关节点在坐标系(X,Y,Z)中的坐标，表示骨架图像序列中第s帧图像的第i个关节点的时间位移矢量；最后，将以上获得的每一帧图像的不同关节点的时间位移矢量中属于同一关节组的时间局部特征组合起来，从而分别建立第一、第二和第三关节组的时间局部特征f1至f3。3.根据权利要求2所述的人体坐姿行为识别方法，其特征在于，根据骨架图像序列中每一帧图像获取该帧图像的空间局部特征具体为：首先，按照人体部位将关节点划分成4个关节组，其中头部、左手、右手各自与脊柱的相对位置矢量构成第四关节组，头部、左手、左脚各自与右臀的相对位置矢量构成第五关节组；头部、右手、右脚各自与左臀的相对位置矢量构成第六关节组；左手、右手各自与头部的相对位置矢量构成第七关节组；然后，获取每一帧图像中不同关节点的空间位移矢量：其中表示第s帧图像中第i个关节点相对于第j个关节点的空间位移矢量，且有i≠j；最后，将以上获得的每一帧图像的不同关节点的空间位移矢量中属于同一关节组的时间局部特征组合起来，从而分别建立第四、第五、第六和第七关节组的时间局部特征f4至f7。4.根据权利要求3所述的人体坐姿行为识别方法，其特征在于，特征编码算法是局部特征聚合描述向量符算法。5.根据权利要求4所述的人体坐姿行为识别方法，其特征在于...

【专利技术属性】
技术研发人员：李方敏，蔡诗琦，旷海兰，刘新华，张韬，栾悉道，
申请(专利权)人：长沙学院，
类型：发明
国别省市：湖南,43