一种手部姿态识别方法及识别系统技术方案

本发明专利技术的手部姿态识别方法，用于解决由于识别方法鲁棒性低，受深度图像数据质量影响无法形成高准确性的手部姿态的技术问题。该方法包括：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本发明专利技术克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。本发明专利技术还包括手部姿态识别系统。

A hand gesture recognition method and recognition system

The hand posture recognition method of the invention is used to solve the technical problem that the recognition method is low in robustness and the quality of the depth image data can not form the high accuracy hand posture. The method includes: extracting depth local gradient features preliminary data in depth image formation of hand gesture features preliminary data; hand gesture feature data of hand forming initial current attitude data through hand gesture classifier; by storing index determination and hand gesture data to determine the current standard of hand gesture data to contrast with the hand the Ministry of the corresponding hand gesture posture standard. The invention overcomes the defects of the depth data hole and the noise influence in the depth image, so that the error of the classifier prediction result is larger. By storing the index, the selected hand standard postures are distributed near the predicted hand pose, which further improves the robustness of the recognition process. The invention also comprises a hand gesture recognition system.

【技术实现步骤摘要】
一种手部姿态识别方法及识别系统
本专利技术涉及现实对象的计算机识别方法及识别系统，特别涉及一种手部姿态识别方法及识别系统。
技术介绍
随着深度传感器的普及和人机交互领域的需求，近年来基于深度数据的手部姿态识别的研究正在兴起。与传统基于RGB(即红绿蓝基色)图像的手部姿态识别相比，深度数据提供了手部的三维信息，提高了手部姿态识别的鲁棒性和准确性。但是利用深度数据进行手部姿态识别对深度图像的图像质量要求较高，现有深度传感器受物理参数限制，动态形成的深度图像的图像质量较差，不能完全满足分类器的数据输入要求，使得分类器处理获得的手部图像中包含大量的噪声甚至出现“空洞”，严重地降低分类器的预测准确性。
技术实现思路
有鉴于此，本专利技术实施例提供了手部姿态识别方法及识别系统，用于解决由于识别方法鲁棒性低，受深度图像数据质量影响无法形成高准确性的手部姿态的技术问题。本专利技术的手部姿态识别方法，包括：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本专利技术的手部姿态识别系统，包括以下功能模块：初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；姿态比对装置，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本专利技术的手部姿态识别系统，包括处理器，处理器中部署的程序模块包括：初步深度图像生成装置，用于通过深度传感器获取手部当前姿态的初步深度图像；手部初步姿态特征数据生成装置，用于提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；手部当前姿态数据生成装置，用于手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据；姿态比对装置，用于通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本专利技术的手部姿态识别方法及识别系统避免了直接采用具有噪声缺陷和数据缺陷的手部初步姿态特征数据进行手部姿态识别，克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。采用本手部姿态识别方法即使手部运动过快导致深度传感器采集的原始数据质量较低，也不会明显降低最终的预测准确性。本手部姿态识别方法利用把高维度数据映射到低维空间后高维数据点之间的相似性也应该在低维空间的数据点上体现出来的特点，通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。附图说明图1为本专利技术实施例手部姿态识别方法的流程图。图2为本专利技术实施例手部姿态识别方法的标准深度图像的形成流程图。图3为本专利技术实施例手部姿态识别方法的标准深度图像的深度特征的形成流程图。图4为本专利技术实施例手部姿态识别方法的手部标准姿态的形成流程图。图5为本专利技术实施例手部姿态识别方法的初步深度图像的形成流程图。图6为本专利技术实施例手部姿态识别方法的手部当前姿态的形成流程图。图7为本专利技术实施例手部姿态识别方法的手部姿态比较替换的流程图。图8为利用本专利技术实施例手部姿态识别方法过程中建立的手部模拟姿态。图9为利用本专利技术实施例手部姿态识别方法过程中手部模拟姿态的标准深度图像。图10为利用本专利技术实施例手部姿态识别方法过程中降维的二维手部标准姿态特征数据的可视化结果。图11为利用本专利技术实施例手部姿态识别方法过程中通过手部姿态分类器对手部ROI的二维手部标准姿态特征数据预测结果的可视化结果。图12为本专利技术实施例手部姿态识别方法过程中获取的手部ROI。图13为本专利技术实施例手部姿态识别方法过程中手部ROI的预测结果和选取的最近的手部ROI姿态对应的深度数据。图14为本专利技术实施例手部姿态识别方法过程中度量相似程度后选取的最相似的结果。图15为本专利技术实施例手部姿态识别系统或程序模块的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。附图中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。图1为本专利技术实施例手部姿态识别方法的流程图。如图1所示方法步骤包括：步骤100：建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像。步骤200：提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据。步骤300：通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立手部标准姿态数据和手部标准姿态数据的存储索引。步骤400：通过深度传感器获取手部当前姿态的初步深度图像。步骤500：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据。步骤600：手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据。步骤700：通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。本专利技术实施例的手部姿态识别方法，在离线状态下为各种手部标准姿态建立了具有准确深度信息的的标准深度图像，并形成了可以索引的手部标准姿态数据(必要时手部标准姿态数据可以以手部标准姿态的直观图像显示)，确保了手部姿态的标准化。在在线状态下将深度传感器获取的低质量深度图像形成手部初步姿态特征数据(必要时手部初步姿态数据可以以手部初步姿态的直观图像显示)，并与部分手部标准姿态的手部标准姿态数据直接进行匹配，比对选出最合适的手部标准姿态数据进而确定对应的手部标准姿态。本专利技术实施例的手部姿态识别方法避免了直接采用具有噪声缺陷和数据缺陷的手部初步姿态特征数据进行手部姿态识别，克服了受深度图像中的深度数据空洞和噪声影响使得分类器预测结果误差较大的缺陷。采用本手部姿态识别方法即使手部运动过导致快深度传感器采集的原始数据质量较低，也不会明显降低最终的预测准确性。本手部姿态识别方法利用把高维度数据映射到低维空间后高维数据点之间的相似性也应该在低维空间的数据点上体现出来的特点，通过存储索引使得挑选的若干手部标准姿态分布在预测出的手部姿态附近，进一步提高了识别过程的鲁棒性。图2为本专利技术实施例手部姿态识别方法的标准深度图像的形成流程图。如图2所示步骤100包括：步骤110：建立手部模型。建立手部标准姿态采用计算机图形技术的骨骼动画技术。骨骼动画技术采用生物的骨骼特征作为三维生物对象的基本模型，根据三维生物对象的个体特征对基本模型进行填充和贴图形成具有个体特征的三维生物对象。可以采用手部的三维骨骼基本模型通过肌肉对象的填充、皮肤纹理对象的贴图形成手部模型。步骤120：确定手部模型基准点和欧氏距离坐标系。计算机图形学在三维坐标空间中可以建立由点、线、面组成的二维对象或三维对象，并根据欧氏距离变换等算法获得每一个对象如骨骼的具体三维坐本文档来自技高网...

【技术保护点】
一种手部姿态识别方法，包括：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；通过手部姿态分类器对手部初步姿态特征数据进行分类形成手部当前姿态数据；通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。

【技术特征摘要】
1.一种手部姿态识别方法，包括：提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据；通过手部姿态分类器对手部初步姿态特征数据进行分类形成手部当前姿态数据；通过存储索引确定与手部当前姿态数据接近的手部标准姿态数据并对比确定与手部当前姿态对应的手部标准姿态。2.如权利要求1所述的手部姿态识别方法，其特征在于还包括：建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像；提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据；通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立所述手部标准姿态数据和所述手部标准姿态数据的所述存储索引。3.如权利要求2所述的手部姿态识别方法，其特征在于所述建立手部模拟姿态，生成与手部模拟姿态对应的标准深度图像包括：建立手部模型；确定所述手部模型基准点和欧氏距离坐标系；逐一调整所述手部模型的骨骼关节的运动角度形成手部模拟姿态；以欧氏距离作为参数对所述手部模拟姿态进行渲染获得每一个所述手部模拟姿态的所述标准深度图像。4.如权利要求2所述的手部姿态识别方法，其特征在于所述提取标准深度图像中的深度局部梯度特征数据形成手部标准姿态特征数据包括：在每一个所述标准深度图像中利用像素携带的深度信息确定每个像素的深度值；根据所述像素的深度值形成所述像素在不同方向和距离上的深度局部梯度值；根据每个所述像素各个维度的所述深度局部梯度值形成每一个所述标准深度图像的高维度的所述手部标准姿态特征数据。5.如权利要求2所述的手部姿态识别方法，其特征在于所述通过手部标准姿态特征数据对分类器进行训练形成手部姿态分类器，并通过手部姿态分类器建立所述手部标准姿态数据和所述手部标准姿态数据的所述存储索引包括：将每一个所述标准深度图像的所述手部标准姿态特征数据归一化并进行降维处理，形成二维手部标准姿态特征数据；将每一个所述标准深度图像的所述二维手部标准姿态特征数据作为输入，对分类器进行训练，形成针对手部模型的手部姿态分类器；将每一个所述标准深度图像的所述二维手部标准姿态特征数据通过所述手部姿态分类器输出对应的所述手部标准姿态数据，并建立所述手部标准姿态数据间的向量标签，并通过所述向量标签建立手部标准姿态数据的所述存储索引。6.如权利要求2所述的手部姿态识别方法，其特征在于所述提取初步深度图像中的深度局部梯度特征数据形成手部初步姿态特征数据包括：在所述初步深度图像中利用像素携带的深度信息确定每个所述像素在不同方向上的深度局部梯度值；根据所述像素间的多个维度的所述深度局部梯度值形成所述初步深度图像的高维度的所述手部初步姿态特征数据。7.如权利要求2所述的手部姿态识别方法，其特征在于所述手部初步姿态特征数据通过手部姿态分类器形成手部当前姿态数据包括：将初步深度图像中的所述手部初步姿态特征数据归一化并进行降维处理，形成所述二维手部初步姿态特征数据；将所述二维手部初步姿态特征数据通过所述手部...

【专利技术属性】
技术研发人员：那日松，齐越，李楠，
申请(专利权)人：北京康邦科技有限公司，
类型：发明
国别省市：北京,11