【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及用户界面，并且更具体地涉及使用光学数据(例如，图像)来推断用户姿势。
技术介绍
1、在一些用例中，虚拟现实(virtual reality，vr)系统或增强现实(augmentedreality，ar)系统的用户可能无法访问传统的用户输入设备(例如，控制器、键盘等)。在这些实例中，基于手势的用户界面可能是理想的。一种有前景的实现这一功能方式是表面肌电图(surface electromyography，semg)，其中，由前臂肌肉产生的电活动被测量以推断手势。然而，这种方式需要电极与皮肤之间的紧密接触，并且高度依赖于接触的质量，这在用于全天可穿戴设备中时是具有挑战性的。此外，这种方式对通常存在于典型用户环境中的电磁干扰非常敏感。
技术实现思路
1、实施例涉及一种用于推断用户的姿势或手势的追踪设备。追踪设备可以使用表面光学肌图来推断姿势或手势。追踪设备包括照明源、光学传感器和控制器。追踪设备可以结合到可穿戴服饰中(例如，佩戴在被监测以推断姿势或手势的一部分皮肤上)。推断出的姿势或手势可以被映射到用于追踪设备或通信地耦接到该追踪设备的另一设备的指令。例如，用户的智能手机通信地耦接到追踪设备，并且用户将其拇指和食指捏合在一起以指示智能手机拒绝来电。追踪设备可以(例如，基于手指捏合在一起时拍摄的用户手掌处的皮肤的图像)推断用户的捏合手势，并指示智能手机拒绝来电。为了确定用户正在做出哪个姿势或手势，追踪设备可以将一模型应用于根据皮肤的图像确定的皮肤特征的图案或位移，其中，皮肤
2、在一个实施例中，追踪设备监测用户的一部分皮肤，以推断由用户的身体部位做出的姿势或手势，该身体部位在做出该姿势或手势时涉及用户的该部分皮肤。例如，追踪设备监测用户前臂上的一部分皮肤，以推断由用户的手做出的姿势或手势。追踪设备可以包括照射用户的该部分皮肤的照明源。追踪设备的光学传感器可以采集被照射的该部分皮肤的多个图像。追踪设备的控制器部分地基于模型(例如，机器学习模型)和所采集到的多个图像来推断身体部位的姿势或手势。该模型可以将用户皮肤的各种形态映射到身体部位的不同姿势或手势。
3、在一些实施例中，控制器还可以被配置为：部分地基于模型和所采集到的多个图像来推断身体部位的手势，其中，该手势是该身体部位随时间的姿势序列。
4、在一些实施例中，控制器还可以被配置为：使用推断出的手势来推断该身体部位的姿势，其中，所采集到的多个图像描绘了该身体部位随时间的姿势序列，该姿势序列按时间顺序处于该身体部位的该姿势之前。
5、在一些实施例中，控制器可以进一步被配置为：确定该部分皮肤上的点在所采集到的多个图像中的位移，其中，所确定的位移包括至少一个方向的位移；以及将模型应用于所确定的位移，其中，该模型是被配置为将多个皮肤位移映射到该身体部位的不同姿势的机器学习模型。
6、在一些实施例中，控制器还可以被配置为：确定与该身体部位的该姿势相对应的命令；以及指示用户设备根据该命令执行动作，其中，用户设备与追踪设备通信地耦接。
7、在一些实施例中，该模型可以是皮肤位移的光流模型，该光流模型限定了该部分皮肤相对于光学传感器的多个运动模式，该多个模式中的各个模式映射到身体部位的不同姿势。
8、在一些实施例中，该模型可以是皮肤特征模型，该皮肤特征模型将多个皮肤特征映射到身体部位的不同姿势，其中，该多个皮肤特征包括该部分皮肤的多个表面图案。
9、在一些实施例中，控制器还可以被配置为：接收用户请求，以创建与用户定义命令相关联的用户定义姿势；提示用户将其身体部位移动到该用户定义姿势；采集用户将其身体部位移动到用户定义姿势的训练图像；以及使用所采集到的训练图像和用户定义姿势来更新模型。
10、在一些实施例中，该身体部位可以包括该部分皮肤。
11、在一些实施例中，该部分皮肤可以与该身体部位不同。
12、在一些实施例中，该身体部位可以是用户的手，并且其中，该部分皮肤选自由以下各项组成的组：用户手指关节周围的一部分皮肤、用户手指指尖周围的一部分皮肤、用户的一部分手掌皮肤、用户的一部分手背皮肤、用户前臂的一部分腹侧皮肤、用户前臂的一部分背侧皮肤、用户的手腕或以上中的某种组合。
13、在另一实施例中，一种方法包括照射用户的一部分皮肤。被照射的该部分皮肤可以响应于用户的身体部位的移动而移动，并且被照射的该部分皮肤小于身体部位。采集被照射的该部分皮肤的多个图像，并且部分地基于模型和所采集到的多个图像来推断该身体部位的姿势。该模型可以将用户皮肤的各种形态映射到该身体部位的不同姿势。
14、在一些实施例中，该方法还可以包括：部分地基于模型和所采集到的多个图像来推断该身体部位的手势，其中，该手势是该身体部位随时间的姿势序列。
15、在一些实施例中，该方法还可以包括：使用推断出的手势来推断该身体部位的姿势，其中，所采集到的多个图像描绘了该身体部位随时间的姿势序列，该姿势序列按时间顺序处于该身体部位的该姿势之前。
16、在一些实施例中，部分地基于模型和所采集到的多个图像来推断该身体部位的姿势可以包括：确定该部分皮肤上的点在所采集到的多个图像中的位移，其中，所确定的位移包括至少一个方向的位移；以及将模型应用于所确定的位移，其中，该模型是被配置为将多个皮肤位移映射到该身体部位的不同姿势的机器学习模型。
17、在一些实施例中，该方法还可以包括：确定与该身体部位的该姿势相对应的命令；以及指示用户设备根据该命令执行动作，其中，用户设备与追踪设备通信地耦接。
18、在又一实施例中，一种非暂态计算机可读存储介质存储有多个指令，这些指令在被追踪设备的处理器执行时，使得追踪设备照射用户的一部分皮肤并采集被照射的该部分皮肤的多个图像。被照射的该部分皮肤可以响应于用户的身体部位的移动而移动。被照射的该部分皮肤可以小于该身体部位。这些指令还包括使追踪部分地基于模型和所采集到的多个图像来推断该身体的姿势的指令。该模型可以将用户的皮肤的各种形态映射到该身体部位的不同姿势。
19、在一些实施例中，非暂态计算机可读存储介质还包括所存储的在被执行时使处理器执行以下操作的指令：部分地基于模型和所采集到的多个图像来推断身体部位的手势，其中，该手势是该身体部位随时间的姿势序列。
20、在一些实施例中，该非暂态计算机可读存储介质还可以包括所存储的在被执行时使处理器执行以下操作的指令：使用推断出的手势来推断该身体部位的姿势，其中，所采集到的多个图像描绘了该身体部位随时间的姿势序列，该姿势序列按时间顺序处于该身体部位的该姿势之前。
21、在一些实施例中，所存储的、用于部分地基于模型和所采集到的多个图像来推断身体部位的姿势的指令还可以包括所存储的在被执行时使处理器执行以下操作的指令：确定该部分皮肤上的点本文档来自技高网...
【技术保护点】
1.一种追踪设备，包括：
2.根据权利要求1所述的追踪设备，其中，所述控制器还被配置为：
3.根据权利要求1或2所述的追踪设备，其中，所述控制器进一步被配置为：
4.根据权利要求1、2或3所述的追踪设备，其中，所述控制器还被配置为：
5.根据前述权利要求中任一项所述的追踪设备，其中，所述模型是：
6.根据前述权利要求中任一项所述的追踪设备，其中，所述控制器还被配置为：
7.根据前述权利要求中任一项所述的追踪设备，其中，所述身体部位包括所述部分皮肤，或者其中，所述部分皮肤与所述身体部位不同。
8.根据前述权利要求中任一项所述的追踪设备，其中，所述身体部位是所述用户的手，并且其中，所述部分皮肤选自由以下各项组成的组：所述用户手指关节周围的一部分皮肤、所述用户手指指尖周围的一部分皮肤、所述用户的一部分手掌皮肤、所述用户的一部分手背皮肤、所述用户前臂的一部分腹侧皮肤、所述用户前臂的一部分背侧皮肤、所述用户的手腕或以上中的某种组合。
9.一种方法，包括：
10.根据权利要求9所述的方
11.根据权利要求9或10所述的方法，其中，部分地基于所述模型和所采集到的所述多个图像来推断所述身体部位的所述姿势包括：
12.根据权利要求9、10或11所述的方法，还包括：
13.一种非暂态计算机可读存储介质，包括所存储的在被追踪设备的处理器执行时使所述处理器执行以下操作的指令：
14.根据权利要求13所述的非暂态计算机可读存储介质，还包括所存储的在被执行时使所述处理器执行以下操作的指令：
15.根据权利要求13或14所述的非暂态计算机可读存储介质，其中，所存储的用于部分地基于所述模型和所采集到的所述多个图像来推断所述身体部位的所述姿势的所述指令还包括所存储的在被执行时使所述处理器执行以下操作的指令：
...【技术特征摘要】
【国外来华专利技术】
1.一种追踪设备，包括：
2.根据权利要求1所述的追踪设备，其中，所述控制器还被配置为：
3.根据权利要求1或2所述的追踪设备，其中，所述控制器进一步被配置为：
4.根据权利要求1、2或3所述的追踪设备，其中，所述控制器还被配置为：
5.根据前述权利要求中任一项所述的追踪设备，其中，所述模型是：
6.根据前述权利要求中任一项所述的追踪设备，其中，所述控制器还被配置为：
7.根据前述权利要求中任一项所述的追踪设备，其中，所述身体部位包括所述部分皮肤，或者其中，所述部分皮肤与所述身体部位不同。
8.根据前述权利要求中任一项所述的追踪设备，其中，所述身体部位是所述用户的手，并且其中，所述部分皮肤选自由以下各项组成的组：所述用户手指关节周围的一部分皮肤、所述用户手指指尖周围的一部分皮肤、所述用户的一部分手掌皮肤、所述用户的一部分手背皮肤、所述用户前臂的一...
【专利技术属性】
技术研发人员：弗朗切斯科·马西利，阮浩文，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。