移动设备的实时3D姿势识别和跟踪系统技术方案

本公开涉及用于识别3D姿势的设备和该设备中的方法。该设备连接至传感器并且能访问姿势图像的数据库，该数据库包括经标准化的姿势图像的可索引特征。可索引特征包括经标准化的姿势图像的边缘图像的每个像素的位置和方向。该方法包括：经由传感器捕捉(110)3D姿势的图像、对捕捉图像进行标准化(120)、从经标准化的已捕捉图像中导出(130)可索引特征、以及使用相似性函数将所导出的可索引特征与数据库的可索引特征进行比较(140)。该方法还包括基于该比较来确定(150)数据库中与3D姿势匹配的姿势图像。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及姿势识别，且更具体地涉及用于识别3D姿势的设备和方法。背景人手有27个自由度(DoF)：每个手指有四个自由度，其中三个自由度用于伸直和屈曲、一个自由度用于外展和内收；拇指更复杂并且有五个DOF，剩下六个DOF用于手腕的转动和平移。由于手的运动学的大量DoF，在视频序列中捕捉手和手指运动是高度挑战性的任务。由于受限的功率和昂贵的计算，该过程在手持式智能设备上甚至更复杂。基本上，常见的现有解决方案遵循图1所示的步骤。一个/多个传感器所捕捉到的查询图像序列将被分析以便对用户的手/手指分段。诸如背景移除、分类、特征检测等图像分析算法被利用来检测手/手指。实际上，手部跟踪和姿势识别的现有算法可以被分组为两类：基于外观的方法以及基于3D手部模型的方法(US2010053151A1、US2010159981A1、WO2012135545A1、以及US2012062558A1)。前者是基于手部姿势与2D图像特征的直接比较。用于检测人类姿势的常用图像特征包括手部色彩和形状、局部手部特征等等。基于特征的方法的缺点在于为了提取手部特征一般要求干净的图像分段。例如在背景杂乱时这不是容易的任务。而且，人手是高度枢接的。通常由于自遮挡而难以找到局部的手部特征，且需要某些种类的试探法来处理各种各样的手部姿势。取代采用2D图像特征来直接表示手部，基于3D手部模型的方法使用3D运动学手部模型来呈现手部姿态。综合分析(ABS)策略被采用来通过将3D手部模型投射的外观与从相机观察到的图像对准来恢复手部运动参数。一般而言，由于较简单的2D
图像特征，用基于外观的方法来实现实时性能更容易。然而，此类方法仅可以处理简单的手部姿势，如指尖的检测和跟踪。相反，基于3D手部模型的方法提供了丰富描述，该丰富描述潜在地允许广泛类别的手部姿势。主要难题在于3D的手部是复杂的27个自由度的可变形模型。为了覆盖不同视图情况下的全部特征手部图像，因此需要非常大的数据库。将来自视频输入的查询图像与数据库中的全部手部图像匹配是耗时的并且是计算上昂贵的。这就是为什么大多数现有的基于3D手部模型的方法都着眼于以受限的照明和背景条件对全局手部运动进行实时跟踪。概述一个目的是解决以上提出的问题中的一些问题，并且为计算高效的实时姿势识别提供解决方案。该目的及其他目的通过根据独立权利要求所述的方法和设备并且通过根据从属权利要求的实施例来实现。按照第一方面，提供了一种用于识别3D姿势的方法。该方法在能访问姿势图像数据库的设备中执行。该设备与适于捕捉3D姿势的图像的传感器通信。姿势图像数据库包括标准化姿势图像的可索引特征。可索引特征包括标准化姿势图像的边缘图像的每个像素的位置和方向。该方法包括：经由传感器捕捉3D姿势的图像、以及按照数据库中的标准化姿势图像对捕捉图像进行标准化。该方法还包括从标准化的捕捉图像中导出可索引特征。可索引特征包括标准化的捕捉图像的边缘图像的每个像素的位置和方向。该方法还包括：使用相似性函数对所导出的可索引特征与数据库的可索引特征进行比较，以及基于该比较来确定数据库中与3D姿势匹配的姿势图像姿势。按照第二方面，提供了一种用于识别3D姿势的设备。该设备被配置成能访问姿势图像数据库，该数据库包括标准化姿势图像的可索引特征。可索引特征包括标准化姿势图像的边缘图像的每个像素的位置和方向。该设备可连接至适于捕捉3D姿势的图像的传感器。该设备包括处理单元。处理单元适于经由传感器来捕捉3D姿势的图像、按照数据库的标准化姿势图像
来对捕捉到的图像进行标准化、以及从标准化的捕捉图像中导出可索引特征。可索引特征包括标准化的捕捉图像的边缘图像的每个像素的位置和方向。处理单元还适于使用相似性函数将所导出的可索引特征与数据库的可索引特征进行比较。处理单元还适于基于该比较来确定数据库中与3D姿势匹配的姿势图像。各实施例的优点在于，以较少的计算资源使得高分辨率姿势识别变得实时可行。各实施例的其他目的、优点和特征将在以下结合附图和权利要求书考虑的详细描述中说明。附图简述图1是示意性地图示根据现有技术的用于姿势跟踪和识别的方法的流程图。图2A是按照本专利技术的各实施例的移动平台中的3D用户界面系统的示意性图画说明。图2B是按照本专利技术的各实施例的采用可穿戴设备的3D用户界面的示意性图画说明。图2C是按照本专利技术的各实施例的固定平台中的3D用户界面的示意性图画说明。图3示意性地图示根据本专利技术的各实施例的方法和系统。图4是示意性地图示根据本专利技术的各实施例的用于将姿势条目存储于数据库中的方法的流程图。图5是示意性地图示根据本专利技术的各实施例的用于搜索姿势条目并且查找查询输入的匹配的方法的流程图。图6是示意性地图示根据本专利技术的各实施例的用于图像查询处理的方法的流程图。图7示意性地图示根据本专利技术的各实施例的用于界面层的方法。图8示意性地图示根据各实施例的图2A所示的移动设备20。图9示意性地图示根据各实施例的图2B所示的可穿戴设备20。图10示意性地图示根据各实施例的图2C所示的固定设备20。图11a-11b示意性地图示根据各实施例的由设备执行的方法。图12示意性地图示根据各实施例的设备。详细描述概览3D姿势识别是人和将来移动设备之间的交互设计中高度期望的特征。具体而言，在虚拟或增强现实环境中，与物理世界的直觉交互看上去不可避免，并且3D姿势交互可能是诸如跟踪垫和触摸屏之类的当前输入设施的最有效的替代品。在本专利技术的各实施例中，提供了用于3D姿势识别和跟踪的解决方案。所提出的方法和系统基于极大的姿势数据库中的匹配查找。该数据库包括关于在转动和定位以及相应的位置/方向参数方面具有所有可能的变化的各种类型的手部姿势的捕捉的条目。执行查询输入与数据库条目之间的属性的相似性分析。该系统检索包括数据库条目以及所获得的查询输入的经注释信息在内的匹配。不像要求大量功率、计算和存储器的典型计算机视觉方法，一种新的框架被定义来解决相同的问题但使用完全不同的方法。所提出的技术可以用大规模搜索框架来处理例如高DoF手部运动的复杂度，而当前技术受限于低分辨率的姿势识别和跟踪。对于一般的移动设备应用，需要覆盖完全范围的手部/身体姿势。为了处理高维度人类姿势空间中有挑战性的穷尽性搜索问题，提出了用于对姿势图像的大规模搜索的高效索引算法。所公开的系统的优点是对巨量数据库图像的极快检索，它能在存在噪声和杂乱的情况下，在各种照明条件下处理高DoF的手部运动。该解决方案适于对移动应用的特殊要求，如实时、低复杂度和稳健性以及高分辨率跟踪和准确性。根据本专利技术的各实施例，使得配备有视觉传感器或其他类型的传感器的任何移动、可穿戴或静止的设备能够确定或识别3D空间中的人类姿势，
例如手部、头部或身体姿势，其中传感器为诸如移动相机、网络相机、深度传感器或超声传感器。姿势跟踪使用查询输入序列中的所确定的或所识别的姿势来执行。识别和跟踪是基于在所注释的姿势条目的极大数据库(DB)中的高级搜索系统搜索。数据库包括具有3D空间中的全部变形和变化的全部可能的手部姿势，这可能对应于上百万个条目。在每一时刻，对于任何查询姿势，所提出的系统自动地搜索数据库并且检索最佳匹配。这会导致实时的3D姿势跟踪。该本文档来自技高网...

【技术保护点】
一种用于识别三维3D姿势的方法，所述方法在能访问姿势图像数据库(52)的设备(20)中执行，所述设备与适于捕捉所述3D姿势的图像(33)的传感器(34)通信，其中所述姿势图像数据库(52)包括经标准化的姿势图像的可索引特征(54)，所述可索引特征包括经标准化的姿势图像的边缘图像的每个像素的位置和方向，所述方法包括：‑经由所述传感器捕捉(110)所述3D姿势的图像(33)，‑按照所述数据库(52)的经标准化的姿势图像对已捕捉图像进行标准化(120)，‑从经标准化的已捕捉图像(33)中导出(130)可索引特征(36)，所述可索引特征(36)包括所述经标准化的已捕捉图像的边缘图像的每个像素的位置和方向，‑使用相似性函数将所导出的可索引特征(36)与所述数据库的可索引特征(54)进行比较，以及‑基于所述比较来确定(150)所述数据库(52)中与所述3D姿势匹配的姿势图像。

【技术特征摘要】
【国外来华专利技术】2014.01.05 US 61/923,6871.一种用于识别三维3D姿势的方法，所述方法在能访问姿势图像数据库(52)的设备(20)中执行，所述设备与适于捕捉所述3D姿势的图像(33)的传感器(34)通信，其中所述姿势图像数据库(52)包括经标准化的姿势图像的可索引特征(54)，所述可索引特征包括经标准化的姿势图像的边缘图像的每个像素的位置和方向，所述方法包括：-经由所述传感器捕捉(110)所述3D姿势的图像(33)，-按照所述数据库(52)的经标准化的姿势图像对已捕捉图像进行标准化(120)，-从经标准化的已捕捉图像(33)中导出(130)可索引特征(36)，所述可索引特征(36)包括所述经标准化的已捕捉图像的边缘图像的每个像素的位置和方向，-使用相似性函数将所导出的可索引特征(36)与所述数据库的可索引特征(54)进行比较，以及-基于所述比较来确定(150)所述数据库(52)中与所述3D姿势匹配的姿势图像。2.根据权利要求1所述的方法，其特征在于，将所导出的可索引特征进行比较(140)进行包括：-使用(141)直接相似性分析来确定所述数据库中与捕捉图像匹配的多个姿势图像，并且其中所述数据库(52)中与所述3D姿势匹配的姿势图像被确定(150)为是所述多个姿势图像之一。3.根据权利要求2所述的方法，其特征在于，将所导出的可索引特征进行比较(140)进一步包括：-使用(142)对所述多个姿势图像的逆相似性分析来确定与捕捉图像匹配
\t的所述多个姿势图像的子集，且其中所述数据库(52)中与3D姿势匹配的姿势图像被确定(150)为是所述多个姿势图像的所述子集中的一个姿势图像。4.根据前述权利要求中的任一项所述的方法，其特征在于，进一步包括：-导出附加的可索引特征，所述附加的可索引特征包括来自经标准化的已捕捉图像的边缘图像的每个像素的相邻像素的位置和方向，-使用所述相似性函数将所导出的附加可索引特征与所述数据库的附加可索引特征进行比较，并且其中，所述数据库(52)中与所述3D姿势匹配的姿势图像还基于对所述附加可索引特征的比较来确定。5.根据前述权利要求中的任一项所述的方法，其特征在于，与所述3D姿势匹配的姿势图像是基于姿势图来确定的，所述姿势图指示姿势图像序列中彼此接近的姿势图像。6.根据前述权利要求中的任一项所述的方法，其特征在于，捕捉(110)图像包括捕捉所述3D姿势的图像序列。7.根据权利要求6所述的方法，其特征在于，进一步包括：-基于所述图像序列来跟踪用户姿势，并且其中，所述数据库(52)中与所述3D姿势匹配的姿势图像还基于所跟踪的用户姿势来确定。8.根据前述权利要求中的任一项所述的方法，其特征在于，进一步包括：-使用(160)所确定的与所述3D姿势匹配的姿势图像来修改显示器上呈现的视觉内容。9.根据前述权利要求中的任一项所述的方法，其特征在于，所述姿势图像数据库(52)中的每个条目用包括三个方向参数和三个位置参数的相关联的3D运动参数来标记，所述方法进一步包括：-从所述数据库(52)中检索与所确定的与所述3D姿势匹配的姿势图像相关联的3D运动参数。10.一种用于识别三维3D姿势的设备(20)，所述设备被配置为能访问姿...

【专利技术属性】
技术研发人员：S·优素菲，H·李，F·阿卜丹孔多瑞，
申请(专利权)人：马诺手势股份公司，
类型：发明
国别省市：瑞典;SE