一种基于深度运动图‑尺度不变特征变换的手势识别方法技术

本发明专利技术涉及一种基于深度运动图‑尺度不变特征变换的手势识别方法，该方法主要包括以下三个部分：在运动数据获取方面，采用Kinect体感技术提供的原始深度图像作为手势识别系统的输入量；在人体手势特征构造方面，采用基于深度运动图‑尺度不变特征变换的提取方法，并对特征提取后的数据采用有监督局部线性嵌入的方法进行降维处理，以表示手势运动特征量；在手势分类器识别方面，利用判别式的支持向量机对深度图像序列的特征量进行样本训练建模，并对未知手势进行分类预测。本发明专利技术不仅能够适应不同光照环境、鲁棒性较强，还能够对手势序列进行实时高效识别，适用于人机交互中的实时手势识别领域。

【技术实现步骤摘要】
一种基于深度运动图-尺度不变特征变换的手势识别方法
本专利技术属于手势识别、体感技术、虚拟现实、自然人机交互
，涉及一种基于深度运动图-尺度不变特征变换的手势识别方法。
技术介绍
近年来，随着模式识别、人工智能及计算机视觉等领域的高速发展，基于体感的手势识别成为了新的研究热点。人们每天都在重复着大量的复合型活动，如与人交流时除自然语言对话之外，经常涉及到手势。如果机器和计算机也能像正常人类一样理解人类手势的含义并根据相应的手势来完成各种指令，实现与人的实时交互，一个崭新的世界在向我们挥手。这些研究已经在大量的应用中显示出优势。例如，手势用于聋哑人群与正常人群的无障碍交流、机器人机械手的抓取、互动游戏平台、控制智能轮椅或实现虚拟环境的交互。手势识别是通过计算机设备对人的手势进行精准解释，已成为一种基于体感的自然人机交互的有效手段。动态手势既包括空间信息又涉及时间信息，常见的特征为运动历史图、时空形状、时空体、运动速度、运动方向、梯度方向直方图、加速稳健特征等。目前，虽然基于手势识别的人机交互具有良多的好处及优势，但是现实并不是一帆风顺，手势识别方法很容易受到外界条件的影响，在很多方面都具有改进的必要。在特征提取方面，常见特征提取过程复杂且易受到遮挡、光照、距离和摄像头移动等因素的限制；在分类方面，由于人体手势特征量及手势样本数量较多而导致运算量过大，时间复杂度较高进而影响人机交互的实时性。因此，急需提出一种能够适应不同光照环境、高准确率同时兼顾实时性的手势识别方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度运动图-尺度不变特征变换的手势识别方法，该方法针对传统的彩色视频中手势识别算法成本高，且二维信息不足导致动作识别效果不佳实时性差的问题，能够高效处理高维非线性流行特征量，具有较少的模型参数，降维后的数据特征具有易于解释的可视化特性，对手势序列进行实时高效识别。为达到上述目的，本专利技术提供如下技术方案：一种基于深度运动图-尺度不变特征变换的手势识别方法，该方法包括以下步骤：S1：采用基于Kinect体感技术获取手势运动信息，通过基于Kinect体感技术获取原始深度图像序列；与常规的手势动作输入信息不同，采用基于Kinect体感技术获取的原始深度图像序列，既能消除光照、肤色等影响又能保证输入数据的高精准度。S2：采用基于深度运动图-尺度不变特征变换的描述符进行手势运动特征提取，可以有效表征手势运动过程，然后采用有监督局部线性嵌入的降维方法处理高维的深度运动图-尺度不变特征变换描述符，以减小计算量；S3：手势模型分类识别：采用基于统计方法的分类器，支持向量机，对深度图像序列提取的特征集合进行建模，可有效利用训练得到的模型，识别未知标签的动态手势。进一步，在步骤S2中，特征提取和特征降维主要包括：S21：采集数据，即Kinect体感技术获取的原始深度视频序列；S22：预处理，对原始深度图像进行去噪操作，采用双边滤波方法；S23：深度投影图，将原始深度图投影到三个笛卡尔正交平面，得到手势的三个深度投影图，分别为DPMfDPMsDPMt；S24：动态手势深度运动图DMMv，通过计算深度投影图连续帧差得到运动能量，累计整个动态手势深度序列的能量产生深度运动图；S25：DMM-SIFT描述符，在动态手势深度运动图DMMv上提取SIFT特征，并级联三个投影面上的DMM-SIFT作为动态手势深度序列的表达，记为DMM-SIFT描述符；S26：降维处理，运用有监督局部线性嵌入算法对DMM-SIFT描述符集合进行降维。进一步，在步骤S23中，将深度图投影到各个平面后，利用形态学操作(膨胀和腐蚀)移除每个投影图中内部空隙和噪声，得到每帧图像的三个深度投影图。进一步，在步骤S24中，所述的动态手势深度运动图DMMv，对一个动态手势过程，通过在前视图、侧视图、俯视图三个正交平面上分别计算连续帧间差异，得到运动能量，积累整个动态手势深度序列的运动能量产生动态手势深度运动图DMMv。进一步，在步骤S3中，所述支持向量机模型包含三个部分：部分一：输入观测序列X，为手势运动原始深度序列样本即每个手势的运动特征；部分二：支持向量机隐含层，采用Sigmoid函数作为核函数，隐含层节点数目及节点对输入节点的权值由训练过程中自动确定；部分三：输出动作类别Y，为通过支持向量机模型预测出的手势动作类别。进一步，所述支持向量机识别算法分为两个过程：训练过程和识别过程，其中，训练过程即为对大量手势动作特征描述符进行分类的过程；识别过程即在训练模型基础上对一个未知的测试集中的观察序列X进行预测，推理出对应的手势识别标签的过程。本专利技术的有益效果在于：本专利技术提供的方法不仅能够适应不同光照环境、鲁棒性较强，还能够对手势序列进行实时高效识别，适用于人机交互中的实时手势识别领域。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术的基于深度运动图-尺度不变特征的手势识别方法示意图；图2为本专利技术所述DMM-SIFT描述符具体示意图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。图1为本专利技术的基于深度运动图-尺度不变特征的手势识别方法示意图，如图1所示，基于深度运动图和尺度不变特征变换的手势识别示意图，包括：数据采集、提取人体手势运动特征、手势动作识别。其中，人体手势数据采集采用的是基于Kinect体感技术，与传统的彩色图像相比，深度图像能够提供第三维的深度数据，对光照不敏感，能够有效的消除肤色、遮挡及背景对手势识别的影响。常见的基于三维骨骼节点的识别方法，由于Kinect是通过分析深度图像重构出的人体骨骼节点，不能保证骨骼点的坐标估算准确，故本专利技术采用的是一种基于原始深度图像的手势识别方法，对采集到原始深度图像序列进行预处理，即对原始深度图像进行去噪操作，为避免滤波器平滑图像去噪时导致边缘模糊化，采用是改进的高斯滤波，即双边滤波。在本实施例中，所述手势识别方法中深度信息由体感设备Kinect采集提供，并把原始的深度图像作为特征提取的输入，由于原始的深度图像不仅能够提供人体的形状信息，还能提供不同视角下手势动作之间的差别，故采用原始的深度视频序列作为手势动作特征数据。在所述手势识别方法中特征提取方面，本专利技术提出一个全新的描述符——深度运动图(DMM)-尺度不变特征变换。首先，深度序列的每一帧都被投影到三个正交的笛卡尔平面上，深度序列的每一帧都得到三个深度投影图，对每个投影图计算并累计其运动能量产生动态手势深度运动图。其次，为了更好的表征动态手势深度运动图的局部外观和形状，在动态手势深度运动图上提取SIFT特征，最后，由于在手势深度运动图上提取尺度不变特征的运算空间复杂度和时间复杂度较大，故对图模型采用局部线性嵌入算法降维处理。在手势模型分类识别方面，支持向量机作为一种基于统计方法的分类器，由于其优良和稳定的分类能力，对比其他分类算法不容易出现过拟合，并且支持向量机在解决小样本，非线性及高维模式识别中具有很大的优势，故在视频或者图像分类领域支持向量机已经成为最常见的分类器。本专利技术所述的识别方法设计非线性高维模式识别，故采用支持向量机分类器。进一步地，所述通过体感设备Kinect获取深度本文档来自技高网...

【技术保护点】
一种基于深度运动图‑尺度不变特征变换的手势识别方法，其特征在于：该方法包括以下步骤：S1：采用基于Kinect体感技术获取手势运动信息，通过基于Kinect体感技术获取原始深度图像序列；S2：采用基于深度运动图‑尺度不变特征变换的描述符进行手势运动特征提取，然后采用有监督局部线性嵌入的降维方法处理高维的深度运动图‑尺度不变特征变换描述符，以减小计算量；S3：手势模型分类识别：采用基于统计方法的分类器，支持向量机，对深度图像序列提取的特征集合进行建模，可有效利用训练得到的模型，识别未知标签的动态手势。

【技术特征摘要】
1.一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：该方法包括以下步骤：S1：采用基于Kinect体感技术获取手势运动信息，通过基于Kinect体感技术获取原始深度图像序列；S2：采用基于深度运动图-尺度不变特征变换的描述符进行手势运动特征提取，然后采用有监督局部线性嵌入的降维方法处理高维的深度运动图-尺度不变特征变换描述符，以减小计算量；S3：手势模型分类识别：采用基于统计方法的分类器，支持向量机，对深度图像序列提取的特征集合进行建模，可有效利用训练得到的模型，识别未知标签的动态手势。2.根据权利要求1所述的一种基于深度运动图-尺度不变特征变换的手势识别方法，其特征在于：在步骤S2中，特征提取和特征降维主要包括：S21：采集数据，即Kinect体感技术获取的原始深度视频序列；S22：预处理，对原始深度图像进行去噪操作，采用双边滤波方法；S23：深度投影图，将原始深度图投影到三个笛卡尔正交平面，得到手势的三个深度投影图，分别为DPMfDPMsDPMt；S24：动态手势深度运动图DMMv，通过计算深度投影图连续帧差得到运动能量，累计整个动态手势深度序列的能量产生深度运动图；S25：DMM-SIFT描述符，在动态手势深度运动图DMMv上提取SIFT特征，并级联三个投影面上的DMM-SIFT作为动态手势深度序列的表达，记为DMM-SIFT描述符；S26：降维处理，运用有监督局部线性嵌入算法对DMM-...

【专利技术属性】
技术研发人员：蔡林沁，崔双杰，虞继敏，刘晓林，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50