一种基于李群特征和卷积神经网络的人体动作识别方法技术

本发明专利技术涉及一种基于李群特征和卷积神经网络的人体动作识别方法，属于计算机模式识别领域。该方法包括：S1：数据获取，利用微软体感设备Kinect提取人体骨骼信息，获取实验者的运动信息；S2：提取李群特征，采取一种利用刚性肢体变换来模拟人体各肢体间的相对三维几何关系的李群骨骼表示方法，将人体动作建模为李群上一系列曲线，进而结合李群和李代数间的对应关系，利用对数映射将基于李群空间的曲线映射为基于李代数空间的曲线；S3：特征分类，融合李群特征和卷积神经网络，利用李群特征训练卷积神经网络，让卷积神经网络对李群特征进行学习、分类，从而实现人体动作识别。本发明专利技术能够取得很好的识别效果。

【技术实现步骤摘要】
一种基于李群特征和卷积神经网络的人体动作识别方法
本专利技术属于计算机模式识别领域，涉及一种基于李群特征和卷积神经网络的人体动作识别方法。
技术介绍
随着科技的快速发展，更自然的人机交互成为了人们越来越迫切的需要，人们更加渴望计算机能够像人脑一样思考和理解外界输入的信号，理解人类日常的行为活动，以便于更加轻松自然的与计算机进行交流。人体动作识别是指以数字图像或视频信号流等为对象，通过图像处理与自动识别等方法，获得人体动作信息的一种实用技术。由于人体动作的多变性、相机运动、光线强度变化、不同人体型的差距、人体不同环境条件下的差异性等问题的存在,使得人体动作识别的研究成为一个多学科交叉且极具挑战性的技术问题。近年来，由于人体动作识别在计算机视觉、人机交互、视频监控，医疗保健、虚拟现实等领域的广泛应用，其已然成为当下一个热门的研究领域，备受计算机视觉、人工智能等领域研究者的青睐。目前，多数人体动作识别的方法主要是采用手工提取特征。这种方法主要分为特征检测和特征描述两个阶段，其中常见的特征检测方法如有3D角点检测、Cuboid算法和Hessian3D矩阵；而常见特征描述子如Cuboid算法、方向梯度直方图(HOG)、光流直方图(HOF)、增强型密集轨迹算法(iDT)等。但由于手工提取特征的方法比较费时费力，而且提取特征的好坏极大的依赖于研究人员的经验，所以这种基于手工提取特征的方法慢慢就失去了研究者的宠爱。鉴于此原因，很多研究者提出运用人体运动的彩色图像视频进行人体动作识别，该方法取得了一定的成效，但由于彩色图像视频缺乏人体运动的三维空间信息，对于人体运动的描述不能做到全面，而且在人为遮挡、光照变化等因素的影响下，不可避免的导致动作识别不准确甚至无法识别的结果，体现出了极大的局限性。近年来，随着一些深度传感器的出现，如微软公司出品的Kinect、华硕公司生产的XtionPRO等，极大的改变了对于人体运动信息提取的方法。使用深度传感器能便捷高效的获取人体运动信息，相比于彩色图像，深度图像和骨骼信息在描述人体运动上有着明显的优势，一方面，深度传感器设备不仅操作简单，并且极大的简化了普通摄像机的标定过程；另一方面，得到的深度图像直接包含了人体的深度信息，能够有效的克服光照变化等的影响、而且深度图像对于几何形状的描述比彩色图像的纹理及颜色描述更具区分性。所以，基于骨骼信息的人体动作识别引起了广大研究者的研究兴趣，涌现了很多阶段性的成果。近年来，许多学者提出在流行空间中提取人体运动特征，通过人体不同肢体的相对三维几何关系，能够对运动动作的特征进行更加充分的描述，相对于仅仅是相互连接肢体间的关节点位置变化、肢体间角度变化等更具优势。在动作分类上，近年提出的一些深度学习的方法在图像识别及人体活动识别领域等的成功应用，引起了广泛的关注。如卷积神经网络、深度置信网络等在对高维数据处理，特征学习等方面均体现出了优势，对于减少计算量，降低识别过程的复杂度，增强识别精度都有较好的效果。因此，为了克服传统手工提取特征的不足，充分利用人体运动的骨骼信息的三维空间信息及深度学习的优势，本专利技术提出一种基于李群特征和卷积神经网络的人体动作识别方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于李群特征和卷积神经网络的人体动作识别方法，该方法极大的克服了传统技术对外界环境变化及人体体型变化等的干扰，能够较好的克服一些基于传统欧式空间的动作识别方法无法模拟、表述人体动作的空间复杂性及几何关系的缺陷；同时本方法能较好的处理动作间的相似性问题及类间高可变性问题；在计算成本及识别效果上，运用卷积神经网络对特征进行处理既能很好对特征进行学习、分类，也能在很大程度上降低计算成本；识别准确度高。为达到上述目的，本专利技术提供如下技术方案：一种基于李群特征和卷积神经网络的人体动作识别方法，具体包括以下步骤：S1：数据获取，利用微软体感设备Kinect提取人体骨骼信息，获取实验者的运动信息；S2：提取李群特征，采取一种利用刚性肢体变换(如三维空间的旋转、平移等)来模拟人体各肢体间的相对三维几何关系的李群骨骼表示方法，将人体动作建模为李群上一系列曲线，进而结合李群和李代数间的对应关系，利用对数映射将基于李群的曲线映射为基于李代数空间的曲线；S3：特征分类，融合李群特征和卷积神经网络，利用李群特征训练卷积神经网络，让卷积神经网络对李群特征进行学习、分类，从而实现人体动作识别。进一步，所述步骤S1中，对于获取的人体骨骼信息，进行归一化处理，保证骨架尺寸等的一致性。进一步，所述步骤S2具体包括：用S＝(V，E)表示人体骨架，其中V＝{v1，…，vN}为关节点的集合，E＝{e1，…，eM}表示刚性肢体的集合，其中N为关节点数量，M为刚性肢体数量；定义en1∈R3和en2∈R3分别表示肢体en的起点和终点；给定一对关节肢体em和en，人体的静态动作可用em和en间的相对几何关系进行描述，这种描述方法概述为：在局部坐标系中将其中一肢体进行旋转、平移到与另一肢体相同方向相同位置上；其中完整的刚性肢体变换过程为：一个肢体先绕轴以一定角度θ进行旋转，旋转到与另一肢体同方向后停止旋转，然后再平移的距离使之与另一肢体重合。进一步，所述步骤S2中，所述完整的刚性肢体变换过程具体为：对于刚性肢体em和en，将en通过旋转、平移，使其与em重合，得到em同en间的一个三维变换关系为：其中，表示以肢体em为起点，以肢体en为终点的旋转轴向量；θm，n表示肢体em绕轴旋转到与肢体en同方向的角度；为旋转后的肢体em平移到肢体en的距离向量；同理，将em通过旋转、平移，使其与en重合，得到em同en间的另一个三维变换关系为：其中，表示以肢体em为起点，以肢体en为终点的旋转轴向量；θm，n表示肢体em绕轴旋转到与肢体en同方向的角度；为旋转后的肢体em平移到肢体en的距离向量；集合所有肢体对间的相对3D几何关系，在某时刻t，一个人体骨架表示为以下形式：S(t)＝(T1，2(t)，T2，1(t)，...，TM-1，M(t)，TM，M-1(t))(3)其中，M为刚性肢体数量，M(M-1)为所有刚性肢体变换的总次数，TM，M-1(t)表示肢体eM-1与肢体eM间的三维变换关系；采用以上的骨骼表示方式，描述人体动作的骨骼序列表示为如下形式的曲线：{S(t)，t∈[0，T′]}(4)其中，T′为总时间；记Ri，j(t)为3D旋转矩阵，表示为所以(3)可变形为：将表示在李群空间的曲线映射到李代数空间可得：其中，vec(g)表示向量空间。进一步，所述步骤S3中具体包括：S31：将步骤S2中获得的曲线用动态时间规整(DynamicTimeWarping，DTW)方法进行规整处理，以解决率变问题，在将曲线从李群空间映射到李代数空间之前，针对每类动作，都需先计算一条标准曲线，然后将所有曲线都靠齐到标准曲线，并使其长度一致。S32：在经过DTW处理后，采用傅里叶描述子(Fouriertemporalpyramid，FTP)对曲线进行描述，将得到的傅里叶描述子用一个三层时间金字塔表示，并将每个部分长度的四分之一作为其低频系数，得到整个动作的特征描述子，该步骤的好处在于可以克服噪声、时间偏差等不利因素，增强鲁棒性本文档来自技高网...

【技术保护点】
1.一种基于李群特征和卷积神经网络的人体动作识别方法，其特征在于，该方法具体包括以下步骤：S1：数据获取，利用微软体感设备Kinect提取人体骨骼信息，获取实验者的运动信息；S2：提取李群特征，采取一种利用刚性肢体变换来模拟人体各肢体间的相对三维几何关系的李群骨骼表示方法，将人体动作建模为李群上一系列曲线，进而结合李群和李代数间的对应关系，利用对数映射将基于李群的曲线映射为基于李代数空间的曲线；所述刚性肢体变化包括三维空间的旋转和平移；S3：特征分类，融合李群特征和卷积神经网络，利用李群特征训练卷积神经网络，让卷积神经网络对李群特征进行学习、分类，从而实现人体动作识别。

【技术特征摘要】
1.一种基于李群特征和卷积神经网络的人体动作识别方法，其特征在于，该方法具体包括以下步骤：S1：数据获取，利用微软体感设备Kinect提取人体骨骼信息，获取实验者的运动信息；S2：提取李群特征，采取一种利用刚性肢体变换来模拟人体各肢体间的相对三维几何关系的李群骨骼表示方法，将人体动作建模为李群上一系列曲线，进而结合李群和李代数间的对应关系，利用对数映射将基于李群的曲线映射为基于李代数空间的曲线；所述刚性肢体变化包括三维空间的旋转和平移；S3：特征分类，融合李群特征和卷积神经网络，利用李群特征训练卷积神经网络，让卷积神经网络对李群特征进行学习、分类，从而实现人体动作识别。2.根据权利要求1所述的基于李群特征和卷积神经网络的人体动作识别方法，其特征在于，所述步骤S1中，对于获取的人体骨骼信息，进行归一化处理，保证骨架尺寸的一致性。3.根据权利要求2所述的基于李群特征和卷积神经网络的人体动作识别方法，其特征在于，所述步骤S2具体包括：用S＝(V,E)表示人体骨架，其中V＝{v1,…,vN}为关节点的集合，E＝{e1,…,eM}表示刚性肢体的集合，其中N为关节点数量，M为刚性肢体数量；定义en1∈R3和en2∈R3分别表示肢体en的起点和终点；给定一对关节肢体em和en，人体的静态动作可用em和en间的相对几何关系进行描述，这种描述方法概述为：在局部坐标系中将其中一肢体进行旋转、平移到与另一肢体的相同方向相同位置上；其中完整的刚性肢体变换过程为：一个肢体先绕轴以一定角度θ进行旋转，旋转到与另一肢体同方向后停止旋转，然后再平移的距离使之与另一肢体重合。4.根据权利要求3所述的基于李群特征和卷积神经网络的人体动作识别方法，其特征在于，所述步骤S2中，所述刚性肢体变换的具体过程为：对于刚性肢体em和en，将en通过旋转、平移，使其与em重合，得到em同en间的一个三维变换关系为：其中，表示以肢体em为起点，以肢...

【专利技术属性】
技术研发人员：蔡林沁，丁和恩，陆相羽，隆涛，陈思维，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50