从2D图像进行手势学习、抬起和消噪制造技术

技术编号:25127777 阅读:34 留言:0更新日期:2020-08-05 02:57
处理器在由相机[215]捕获的二维图像[100]中识别手上的关键点[115、120、125、130]。使用关键点的位置以访问查找表(LUT)[230]来确定手的三维姿势,该查找表[230]将手的潜在姿势表示为关键点的位置的函数。在一些实施例中,关键点包括手指和拇指的尖端的位置、连接手指和拇指的指骨的关节、表示手指和拇指与手掌的附着点的指节以及指示手与前臂的附着点的腕部位置。LUT的一些实施例表示在对应的手指姿势平面[405]中的手指和拇指的2D坐标。

【技术实现步骤摘要】
【国外来华专利技术】从2D图像进行手势学习、抬起和消噪
技术介绍
人体部分,尤其是人的手,在三维(3D)空间中的位置是许多应用的有用驱动。虚拟现实(VR)、增强现实(AR)或混合现实(MR)应用使用用户的手的表示来促进与虚拟对象的交互、从虚拟存储器中选择项目、将对象放置在用户的虚拟手中、通过在一只手上绘制菜单并用另一只手选择菜单的元素来提供用户界面等等。手势互动为与诸如GoogleHome或Nest的自动化家庭助理的互动添加了额外的方式。安全或监视系统使用人的手或其他身体部分的3D表示来检测和发信号通知异常情况。通常,人手或其他身体部分的位置的3D表示提供了交互或检测的其他方式,该方式代替或补充了诸如语音通信、触摸屏、键盘和计算机鼠标等的现有方式。但是,计算机系统并不总是实现3D成像设备。例如,诸如智能电话、平板计算机和头戴式设备(HMD)之类的设备通常实现诸如二维(2D)相机之类的轻型成像设备。附图说明通过参考附图,可以更好地理解本公开,并且使得其许多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。图1是根据一些实施例的手的二维(2D)图像。图2是根据一些实施例的被配置为获取手的2D图像并基于2D图像生成手的3D姿势的处理系统的框图。图3图示了根据一些实施例的表示手的骨架模型的一部分的手掌三角形和拇指三角形。图4图示了根据一些实施例的在对应的手指姿势平面中的手指姿势。图5图示了根据一些实施例的在手指姿势平面中的手指的骨架模型。图6是根据一些实施例的查找表(LUT)的表示,该查找表用于基于手指的尖端和手掌指关节的相对位置在手指姿势平面中查找手指的2D坐标。图7图示了根据一些实施例的具有由图6所示的圆圈表示的指尖和手掌指关节的相对位置的手指的2D坐标。图8是根据一些实施例的配置LUT的方法的流程图,该LUT将手指的尖端和手掌指关节的相对位置映射到手指的2D坐标。图9是根据一些实施例的抬起来自手的2D图像的手的3D姿势的方法的流程图。图10是根据一些实施例的对从手的2D图像列出的3D关键点进行迭代去去噪的图示。图11是根据一些实施例的对从手的2D图像提取的关键点进行去噪的方法的流程图。具体实施方式通过在2D图像中识别手上的关键点,并使用关键点的位置访问查找表来确定3D姿势和手的位置,该查找表将手的潜在3D姿势表示为关键点位置的函数,来从手的2D图像实时生成手的3D表示(在此称为骨架模型)。在一些实施例中,关键点包括:手指和拇指的尖端的位置、连接手指和拇指的指骨的关节、表示每个手指和拇指与手掌的附着点的手掌指关节以及指示手与用户前臂的附着点的腕部位置。查找表包括手指姿势查找表,该手指姿势查找表表示对应的手指姿势平面中每个手指(或拇指)的2D坐标,该二维坐标是手指(或拇指)的尖端相对于手指或拇指的对应手掌指关节的位置的函数。手指和拇指的指骨长度是从手的训练图像的集合中确定的。手指姿势查找表是基于连接指骨的关节的长度和对其运动范围的解剖学约束而生成的。手掌表示为手掌三角形和拇指三角形,它们由对应的顶点集合定义。手掌三角形在腕部位置具有顶点,该顶点与包括手指的手掌指关节的三角形侧面相对。拇指三角形在腕部位置具有顶点,在拇指的手掌指关节处具有顶点,在食指的手掌指关节处具有顶点。定义手掌三角形和拇指三角形的参数也从训练图像的集合中确定。在操作中,使用从手指姿势查找表以及手掌三角形和拇指三角形的方向确定的2D坐标,从手的2D图像确定手的骨架模型。手指和拇指在解剖上受到约束以在对应的姿势平面内移动,该姿势平面分别相对于手掌三角形和拇指三角形具有固定的方向。例如,将2D图像中的食指约束为位于将食指的手掌指关节与食指的指尖连接的手指姿势平面中。通过使用指尖和手掌指关节的相对位置访问对应的手指姿势查找表,确定手指在其手指姿势平面中的2D坐标。然后,通过基于手掌三角形的方向旋转2D坐标来确定手指的3D姿势。通过根据拇指三角形的方向旋转拇指的2D姿势(由手指姿势查找表确定)来确定拇指的3D姿势。在一些实施例中,如上所述,通过基于关键点的初始估计从2D图像确定手的3D骨架模型,使用2D图像中的关键点的噪声值来确定手的3D姿势。基于关键点的3D位置沿着将原始2D关键点连接到与2D图像相关联的消失点的线向图像平面中的投影来修改由骨架模型指示的关键点的3D位置。如上所述,然后使用关键点的修改后的3D位置以修改骨架模型。该过程反复进行以达到收敛。本文公开的技术的一些实施例已经在不同的数据集合上得到了验证,并当结果在进行比较之前未与基础真实数据(groundtruthdata)对齐时,实现了大于80%的正确识别的关键点(在某些情况下高达98%)。在比较之前将结果与基础真实数据对齐提高正确关键点的百分比。图1是根据一些实施例的手105的二维(2D)图像100。手105由骨架模型110表示,该骨架模型110将手105的手指、拇指和手掌建模为互连的关键点的集合。在所示的实施例中,关键点包括手指和拇指的尖端115(为了清楚仅由一个参考数字表示)、连接手指和拇指的指骨125(为了清楚起见仅由参考数字表示的一个)的关节120(为了清楚仅由一个参考数字表示)、表示每个手指和拇指与手掌的附着点的手掌指关节130(为了清楚起见仅由参考数字表示的一个)以及指示手与用户前臂的附着点的腕部位置135。图2是根据一些实施例的被配置为获取手205的2D图像并基于该2D图像生成手的3D姿势的处理系统200的框图。从2D图像生成手205的3D姿势被称为从2D图像“抬起”手205的3D姿势。在所示的实施例中,手205的3D姿势由诸如图1所示的骨架模型110之类的骨架模型210表示。为了清楚起见,以下讨论使用手205作为身体部分的示例。但是,本文讨论的技术的一些实施例同样适用于从对应的2D图像抬起其他身体部分的3D姿势。例如,处理系统200能够从对应身体部分的2D图像中抬起脚、臂、腿、头、其他身体部分或其组合的3D姿势。处理系统200包括诸如相机215之类的图像获取设备。用于实现相机215的图像获取设备的示例包括:诸如在移动电话或平板计算机中实现以执行虚拟现实或增强现实应用的相机之类的红绿蓝(RGB)相机;使用一个或多个深度传感器进行深度估计的RGB相机;诸如使用立体声鱼眼相机提供6度自由度的多合一虚拟现实设备的灰度相机(;以及,诸如夜间成像仪或深度传感器上的成像仪的红外相机;等等。在一些实施例中,相机215是以小形状因子实现并且消耗少量的电力的轻巧的RGB相机。因此,轻巧的RGB相机对在增强现实眼镜中的实现有用。相机215的一些实施例被实现为捕获图像序列以表示在场景内的运动的摄像机。相机215获取手205的2D图像,并将表示该2D图像的信息存储在存储器220中。处理器225能够从存储器220访问表示2D图像的信息,并执行包括学习、抬起和去噪2D图像的操作。学习阶段包括使用手205的训练图像来生成一个或多个查找表(LUT)230。例如,从手20本文档来自技高网...

【技术保护点】
1.一种方法,包括:/n在处理器处,在由相机捕获的二维(2D)图像中识别身体部分上的关键点;以及/n在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述身体部分的三维(3D)姿势,所述查找表将所述身体部分的潜在3D姿势表示为所述关键点的所述位置的函数。/n

【技术特征摘要】
【国外来华专利技术】20171213 US 62/598,306;20180824 US 16/112,2641.一种方法,包括:
在处理器处,在由相机捕获的二维(2D)图像中识别身体部分上的关键点;以及
在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述身体部分的三维(3D)姿势,所述查找表将所述身体部分的潜在3D姿势表示为所述关键点的所述位置的函数。


2.根据权利要求1所述的方法,其中,所述身体部分包括手、脚、臂、腿和头中的至少一个。


3.根据权利要求1或2所述的方法,包括:
在处理器处,在由相机捕获的二维(2D)图像中识别手上的关键点;以及
在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述手的三维(3D)姿势,所述查找表将所述手的潜在3D姿势表示为所述关键点的所述位置函数。


4.根据权利要求3所述的方法,其中,所述关键点包括所述手的手指和拇指的尖端的位置、连接所述手指和所述拇指的指骨的关节、表示所述手指和所述拇指与所述手的手掌的附着点的手掌指关节、和指示所述手与前臂的附着点的腕部位置。


5.根据权利要求4所述的方法,其中,所述LUT包括手指姿势LUT,所述手指姿势LUT将在对应的手指姿势平面中的所述手指和所述拇指的2D坐标表示为相对于所述手指或拇指的对应手掌指关节的所述手指或拇指的所述尖端的所述位置的函数。


6.根据权利要求5所述的方法,还包括:
基于在多个3D训练姿势中的所述手的训练图像的集合来生成所述手指姿势LUT。


7.根据权利要求6所述的方法,其中,生成所述手指姿势LUT包括从所述训练图像的集合中确定所述手指和所述拇指的所述指骨的长度。


8.根据权利要求7所述的方法,其中,生成所述手指姿势LUT包括基于所述指骨的所述长度和对连接所述指骨的所述关节的运动范围的解剖学约束来生成所述手指姿势LUT。


9.根据权利要求6至8所述的方法,还包括:
识别具有基于所述手指姿势LUT确定的相似关键点的两个或更多个潜在3D姿势。


10.根据权利要求6至9所述的方法,还包括:
基于所述训练图像,确定定义在所述腕部位置处具有顶点的手掌三角形的参数,其中,所述顶点与包括所述手指的所述手掌指关节的所述手掌三角形的一侧相对。


11.根据权利要求6至10所述的方法,还包括:
基于所述训练图像,确定定义在所述腕部位置、所述拇指的所述手掌指关节和食指的所述手掌指关节处具有顶点的拇指三角形的参数。


12.根据权利要求3至11中的任一项所述的方法,其中,确定所述手的所述3D姿势包括基于所述手指和所述拇指的对应的指尖和手掌指关节的相对位置,从所述手指姿势LUT确定所述手指和所述拇指的2D坐标。


13.根据从属于权利要求10的权利要求11所述的方法,其中,确定所述手的所述3D姿势包括从所述2D图像确定所述手掌三角形和所述拇指三角形的方向。


14.根据权利要求11所述的方法,其中,确定所述手的所述3D姿势包括分别基于所述手掌三角形和所述拇指三角形的所述方向来旋转所述手指和所述拇指的所述2D坐标。


15.根据权利要求3至12中的任一项所述的方法,其中,识别所述关键点包括识别所述手的所述2D图像中的噪声关键点的3D位置,并且其中,识别所述手的所述3D姿势包括基于所述噪声关键点生成表示所述手的所述3D姿势的骨架模型。


16.根据权利要求15所述的方法,还包括:
基于所述骨架模型生成符合骨架的关键点;
...

【专利技术属性】
技术研发人员:奥努尔·居莱尔于兹
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1