【技术实现步骤摘要】
【国外来华专利技术】从2D图像进行手势学习、抬起和消噪
技术介绍
人体部分,尤其是人的手,在三维(3D)空间中的位置是许多应用的有用驱动。虚拟现实(VR)、增强现实(AR)或混合现实(MR)应用使用用户的手的表示来促进与虚拟对象的交互、从虚拟存储器中选择项目、将对象放置在用户的虚拟手中、通过在一只手上绘制菜单并用另一只手选择菜单的元素来提供用户界面等等。手势互动为与诸如GoogleHome或Nest的自动化家庭助理的互动添加了额外的方式。安全或监视系统使用人的手或其他身体部分的3D表示来检测和发信号通知异常情况。通常,人手或其他身体部分的位置的3D表示提供了交互或检测的其他方式,该方式代替或补充了诸如语音通信、触摸屏、键盘和计算机鼠标等的现有方式。但是,计算机系统并不总是实现3D成像设备。例如,诸如智能电话、平板计算机和头戴式设备(HMD)之类的设备通常实现诸如二维(2D)相机之类的轻型成像设备。附图说明通过参考附图,可以更好地理解本公开,并且使得其许多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。图1是根据一些实施例的手的二维(2D)图像。图2是根据一些实施例的被配置为获取手的2D图像并基于2D图像生成手的3D姿势的处理系统的框图。图3图示了根据一些实施例的表示手的骨架模型的一部分的手掌三角形和拇指三角形。图4图示了根据一些实施例的在对应的手指姿势平面中的手指姿势。图5图示了根据一些实施例的在手指姿势平面中的手指的骨架模型。图6是根据一些实施例的 ...
【技术保护点】
1.一种方法,包括:/n在处理器处,在由相机捕获的二维(2D)图像中识别身体部分上的关键点;以及/n在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述身体部分的三维(3D)姿势,所述查找表将所述身体部分的潜在3D姿势表示为所述关键点的所述位置的函数。/n
【技术特征摘要】
【国外来华专利技术】20171213 US 62/598,306;20180824 US 16/112,2641.一种方法,包括:
在处理器处,在由相机捕获的二维(2D)图像中识别身体部分上的关键点;以及
在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述身体部分的三维(3D)姿势,所述查找表将所述身体部分的潜在3D姿势表示为所述关键点的所述位置的函数。
2.根据权利要求1所述的方法,其中,所述身体部分包括手、脚、臂、腿和头中的至少一个。
3.根据权利要求1或2所述的方法,包括:
在处理器处,在由相机捕获的二维(2D)图像中识别手上的关键点;以及
在所述处理器处,使用所述关键点的位置以访问查找表(LUT)来确定所述手的三维(3D)姿势,所述查找表将所述手的潜在3D姿势表示为所述关键点的所述位置函数。
4.根据权利要求3所述的方法,其中,所述关键点包括所述手的手指和拇指的尖端的位置、连接所述手指和所述拇指的指骨的关节、表示所述手指和所述拇指与所述手的手掌的附着点的手掌指关节、和指示所述手与前臂的附着点的腕部位置。
5.根据权利要求4所述的方法,其中,所述LUT包括手指姿势LUT,所述手指姿势LUT将在对应的手指姿势平面中的所述手指和所述拇指的2D坐标表示为相对于所述手指或拇指的对应手掌指关节的所述手指或拇指的所述尖端的所述位置的函数。
6.根据权利要求5所述的方法,还包括:
基于在多个3D训练姿势中的所述手的训练图像的集合来生成所述手指姿势LUT。
7.根据权利要求6所述的方法,其中,生成所述手指姿势LUT包括从所述训练图像的集合中确定所述手指和所述拇指的所述指骨的长度。
8.根据权利要求7所述的方法,其中,生成所述手指姿势LUT包括基于所述指骨的所述长度和对连接所述指骨的所述关节的运动范围的解剖学约束来生成所述手指姿势LUT。
9.根据权利要求6至8所述的方法,还包括:
识别具有基于所述手指姿势LUT确定的相似关键点的两个或更多个潜在3D姿势。
10.根据权利要求6至9所述的方法,还包括:
基于所述训练图像,确定定义在所述腕部位置处具有顶点的手掌三角形的参数,其中,所述顶点与包括所述手指的所述手掌指关节的所述手掌三角形的一侧相对。
11.根据权利要求6至10所述的方法,还包括:
基于所述训练图像,确定定义在所述腕部位置、所述拇指的所述手掌指关节和食指的所述手掌指关节处具有顶点的拇指三角形的参数。
12.根据权利要求3至11中的任一项所述的方法,其中,确定所述手的所述3D姿势包括基于所述手指和所述拇指的对应的指尖和手掌指关节的相对位置,从所述手指姿势LUT确定所述手指和所述拇指的2D坐标。
13.根据从属于权利要求10的权利要求11所述的方法,其中,确定所述手的所述3D姿势包括从所述2D图像确定所述手掌三角形和所述拇指三角形的方向。
14.根据权利要求11所述的方法,其中,确定所述手的所述3D姿势包括分别基于所述手掌三角形和所述拇指三角形的所述方向来旋转所述手指和所述拇指的所述2D坐标。
15.根据权利要求3至12中的任一项所述的方法,其中,识别所述关键点包括识别所述手的所述2D图像中的噪声关键点的3D位置,并且其中,识别所述手的所述3D姿势包括基于所述噪声关键点生成表示所述手的所述3D姿势的骨架模型。
16.根据权利要求15所述的方法,还包括:
基于所述骨架模型生成符合骨架的关键点;
...
【专利技术属性】
技术研发人员:奥努尔·居莱尔于兹,
申请(专利权)人:谷歌有限责任公司,
类型:发明
国别省市:美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。