手部姿态追踪的方法、装置及系统制造方法及图纸

本发明专利技术提供一种手部姿态追踪的方法、装置及系统，该方法，包括获取包含手部区域的深度图像；根据所述深度图像，通过目标网络模型获取目标手部姿态；其中，所述目标网络模型是指预先经过训练的，用于对所述深度图像进行特征提取和特征识别得到目标初始手部姿态，并对目标初始手部姿态进行优化以输出目标初始手部姿态的学习模型，以提高姿态追踪的准确性、高效性。无需高计算设备资源(例如GPU(Graphics Processing Unit，图形处理器))即可以实现实时的手部姿态追踪。

【技术实现步骤摘要】
手部姿态追踪的方法、装置及系统
本专利技术涉及计算机视觉
，尤其涉及一种手部姿态追踪的方法、装置及系统。
技术介绍
随着深度传感器的普及和人机交互领域的需求，基于深度数据的手部姿态识别和追踪是新型人机交互技术中不可或缺的重要途径之一，有着广泛的应用前景，例如手势遥控无人机，手势操控家用机器人，体感游戏以及辅助医学手术等等。与传统基于RGB图像的手部姿态估计相比，深度数据可以提供手部的三维距离信息。现有的人机交互中的手部姿态识别要求使用者手部平行于摄像头成像平面，然而人们的手部姿态往往与水平面成一定的角度，使得手部姿态识别和追踪准确性不高。或者现有的手部追踪方法大多使用固定的手部模型，不同用户具有不同尺寸的手，使用固定模板的手会降低追踪精度，有时需要根据不同的用户使用预先进行手部形状标定，操作繁琐，姿态追踪效率低，降低用户的使用体验。
技术实现思路
本专利技术提供一种手部姿态追踪的方法、装置及系统，以提高姿态追踪的准确性、高效性，无需高计算设备资源(例如GPU(GraphicsProcessingUnit，图形处理器)即可以实现实时的姿态追踪。第一方面，本专利技术实施例提供的一种手部姿态追踪的方法，包括：获取包含手部区域的深度图像；根据所述深度图像，通过目标网络模型获取目标手部姿态；其中，所述目标网络模型是指预先经过训练的，用于对所述深度图像进行特征提取和特征识别得到目标初始手部姿态，并对所述目标初始手部姿态进行优化以输出目标手部姿态的学习模型。在一种可能的设计中，获取包含手部区域的深度图像，包括：采用深度摄像头拍摄包含手部区域的深度图像。在一种可能的设计中，在根据所述深度图像，通过目标网络模型获取目标手部姿态之前，还包括：构建姿态初始化网络模型，其中，所述姿态初始化网络模型包括手部全局定位支路，手部姿态分类支路；所述手部全局定位支路用于提取所述深度图像中手的特征点，并根据所述特征点输出手部全局姿态；所述手部姿态分类支路用于提取所述深度图像的特征点，且根据预设手部基准姿态的特征点与所述深度图像的特征点进行匹配分类，得到手部当前局部姿态；通过训练数据集训练姿态优化模块得到目标网络模型。在一种可能的设计中，所述姿态优化模块具体用于将所述手部全局姿态与所述手部当前局部姿态进行匹配融合得到所述目标初始手部姿态，使用目标方程对所述目标初始手部姿态进行优化，得到目标手部姿态。在一种可能的设计中，所述姿态优化模块中包含多种优化函数项的目标方程，通过预设约束条件构建所述姿态优化模块的优化函数项，其中优化函数项，包括手部姿态优化对应的多个优化函数项以及手部形状优化对应的优化函数项。第二方面，本专利技术实施例提供的一种手部姿态追踪的装置，应用如第一方面中任一项所述的方法，所述目标网络模型包括：由多个卷积层、归一化层和relu激活层、池化层、非池化层、热力图层、全连接层和relu激活层以及softmax层分别组成的手部全局定位支路、手部姿态分类支路。在一种可能的设计中，所述手部全局定位支路，包括：多个卷积层、归一化层和relu激活层、池化层以及非池化层，其中所述卷积层用于提取深度图像中手的特征点；所述归一化层用于将设置所述特征点的数值范围；所述relu激活层用于将特征点输出为增强表达的特征图；所述池化层对所述增强表达的特征图进行压缩，得到压缩特征图以使特征图变小，所述非池化层用于将所述压缩特征图在尺度上进行放大，且与关节点的最大似然距离密度图输出有关。所述热力图层用于生成手部初始全局位置。在一种可能的设计中，所述手部姿态分类支路，包括：多个依次组合的所述卷积层、所述归一化层和所述relu激活层、所述池化层、所述全连接层和所述relu激活层以及所述softmax层。其中，所述卷积层用于提取深度图像的特征点，所述归一化层用于限定所述特征点的数值范围；所述relu激活层用于将所述特征点输出为增强表达的特征图，所述池化层对所述增强表达的特征图进行压缩，得到压缩特征图以使特征图变小，所述全连接层用于将所述压缩特征图进行连接得到局部特征图，softmax层通过输出手的姿势的概率用于对所述局部特征图进行分类获得手部当前局部姿态。第三方面，本专利技术实施例提供的一种手部姿态追踪的系统，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面任一项所述的手部姿态追踪的方法。第四方面，本专利技术实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述的手部姿态追踪的方法。本专利技术提供一种手部姿态追踪的方法、装置及系统，该方法，包括获取包含手部区域的深度图像；根据所述深度图像，通过目标网络模型获取目标手部姿态；其中，所述目标网络模型是指预先经过训练的，用于对所述深度图像进行特征提取和特征识别，以输出目标手部姿态的学习模型。以提高姿态追踪的准确性、高效性，无需高计算设备资源(例如GPU(GraphicsProcessingUnit，图形处理器))即可以实现实时的姿态追踪。通过目标网络模型能够实现手部姿态优化、手部形状优化和手部姿态形状联合优化等阶段处理过程，可以同时满足姿态追踪的准确性和实时性要求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的手部姿态追踪的方法的流程图；图2为本专利技术实施例二提供的手部姿态追踪的方法的流程图；图3为本专利技术实施例二提供的手部姿态追踪的方法中网络模型的结构示意图；图4为本专利技术实施例三提供的手部姿态追踪的方法的流程图；图5为本专利技术实施例三提供的手部姿态追踪的方法中部分效果示意图；图6为本专利技术实施例四提供的手部姿态追踪的系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面以具体地实施例对本专利技术的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术的实施例进行描述。现有技术中大多本文档来自技高网...

【技术保护点】
1.一种手部姿态追踪的方法，其特征在于，包括：获取包含手部区域的深度图像；根据所述深度图像，通过目标网络模型获取目标手部姿态；其中，所述目标网络模型是指预先经过训练的，用于对所述深度图像进行特征提取和特征识别得到目标初始手部姿态，并对所述目标初始手部姿态进行优化以输出目标手部姿态的学习模型。

【技术特征摘要】
1.一种手部姿态追踪的方法，其特征在于，包括：获取包含手部区域的深度图像；根据所述深度图像，通过目标网络模型获取目标手部姿态；其中，所述目标网络模型是指预先经过训练的，用于对所述深度图像进行特征提取和特征识别得到目标初始手部姿态，并对所述目标初始手部姿态进行优化以输出目标手部姿态的学习模型。2.根据权利要求1所述的方法，其特征在于，获取包含手部区域的深度图像，包括：采用深度摄像头拍摄包含手部区域的深度图像。3.根据权利要求1所述的方法，其特征在于，在根据所述深度图像，通过目标网络模型获取目标手部姿态之前，还包括：构建姿态初始化网络模型，其中，所述姿态初始化网络模型包括手部全局定位支路，手部姿态分类支路；所述手部全局定位支路用于提取所述深度图像中手的特征点，并根据所述特征点输出手部全局姿态；所述手部姿态分类支路用于提取所述深度图像的特征点，且根据预设手部基准姿态的特征点与所述深度图像的特征点进行匹配分类，得到手部当前的局部姿态；通过训练数据集训练姿态优化模块得到目标网络模型。4.根据权利要求3所述的方法，其特征在于，所述姿态优化模块具体用于将所述手部全局姿态与所述手部当前局部姿态进行匹配融合得到所述目标初始手部姿态，使用目标方程对所述目标初始手部姿态进行优化，得到目标手部姿态。5.根据权利要求3所述的方法，其特征在于所述姿态优化模块中包含多种优化函数项的目标方程，通过预设约束条件构建所述姿态优化模块的优化函数项，其中优化函数项包括手部姿态优化对应的多个优化函数项以及手部形状优化对应的优化函数项。6.一种手部姿态追踪的装置，应用如权利要求3-5任一项所述的方法，其特征在于，所述目标网络模型包括：由多个卷积层、归一化层和relu激活层、池化层、非...

【专利技术属性】
技术研发人员：齐越，车云龙，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11