手势位置确定方法及相关装置制造方法及图纸

本发明专利技术公开了一种手势位置确定方法及相关装置，交互方法及相关装置，该手势位置确定方法包括：获取使用者手腕预设区域的物理监测量；基于所述物理监测量，确定使用者的交互手势；获取使用者手腕在现实空间的位置；基于所述交互手势和所述使用者手腕在现实空间的位置，确定所述使用者手掌及手指在现实空间的位置

【技术实现步骤摘要】
手势位置确定方法及相关装置、交互方法及相关装置


[0001]本专利技术涉及交互领域，尤其涉及一种手势位置确定方法及相关装置
、
交互方法及相关装置
。

技术介绍

[0002]随着
AR/VR
技术的进步，越来越多的
AR/VR
设备被运用到人们的日常生活中，人们可以佩戴
AR/VR
设备，以在
AR/VR
设备的视野内，基于交互手势进行各种操作
。
[0003]目前有一种交互方法，是利用多个摄像头，捕捉
AR/VR
设备视野中使用者的交互手势，以及该交互手势所在的位置
。
对于此种交互方法，通过摄像头捕捉画面，分析使用者的交互手势具有一定的局限性，比如使用者的交互手势可能不在视野范围内，或者被其他物体遮挡，或者由于视角的原因无法获取完整的使用者手部画面等等，此时则无法准确的分析出使用者的交互手势，那么交互则比较容易出错
。
[0004]除此之外，还有一种交互方法，该交互方法基于传感手套进行，传感手套在手的各个关节上均设置传感器，以检测使用者的交互手势以及位置，对于此种交互方法，由于需要基于传感手套才能实现，传感手套对使用者的手指具有一定的束缚作用，而且传感手套上设置了大量的传感器，重量也较重，因此使用者的使用体验不佳
。

技术实现思路

[0005]本专利技术的主要目的在于提供一种手势位置确定方法及相关装置
、
交互方法及相关装置，旨在解决
技术介绍
中所提到的问题
。
[0006]为实现上述目的，本专利技术提供一种手势位置确定方法，运用于交互设备，该手势位置确定方法包括：
[0007]获取使用者手腕预设区域的物理监测量；
[0008]基于所述物理监测量，确定使用者的交互手势；
[0009]获取使用者手腕在现实空间的位置；
[0010]基于所述交互手势和所述使用者手腕在现实空间的位置，确定所述使用者手掌及手指在现实空间的位置
。
[0011]在本申请实施例中，所述物理监测量由第一设备采集，所述第一设备设有腕带，所述腕带上设有多个压力传感器；
[0012]所述获取使用者手腕预设区域的物理监测量包括：
[0013]基于所述腕带上的多个压力传感器，获取所述使用者手部在进行交互时手腕预设区域的压力值
。
[0014]在本申请实施例中，所述基于所述物理监测量，确定使用者的交互手势，包括：
[0015]基于手势估计模型
、
所述多个压力传感器的压力值，以及所述使用者的手部描述信息，确定使用者的交互手势
。
[0016]在本申请实施例中，所述手部描述信息至少包括使用者的年龄
、
性别
、
手腕周长和
手掌尺寸中的一项；
[0017]所述手势估计模型基于第一数据集预先训练得到；
[0018]所述第一数据集包括多个压力值，所述多个压力值包括不同用户佩戴所述腕带完成不同交互手势时，所述腕带上各个压力传感器的压力值；
[0019]不同用户的手部描述信息不同
。
[0020]在本申请实施例中，所述交互设备包括第二设备，所述第二设备包括双目摄像头；
[0021]所述获取使用者手腕在现实空间的位置，包括：
[0022]基于所述双目摄像头获取包含所述使用者手腕的第一影像，所述第一影像的获取时间与所述物理监测量的监测时间相同；
[0023]基于手部关键点识别模型识别所述第一影像中的手腕关键点；
[0024]基于双目摄像头的空间定位法，得到所述手腕关键点在现实空间的位置；
[0025]基于所述手腕关键点在现实空间的位置，确定所述使用者手腕在现实空间的位置
。
[0026]在本申请实施例中，所述手部关键点识别模型基于第二数据集预先训练得到，其中，所述第二数据集包括多个第二影像，各个第二影像的采集条件不同，所述采集条件至少包括用户
、
拍摄角度和交互手势中的一项；
[0027]所述手部关键点识别模型通过以下方式预先训练得到：
[0028]将多个所述第二影像输入所述手部关键点识别模型，得到每个所述第二影像的手部特征值，并对每个所述第二影像标记手部关键点，其中，所述手部关键点包括手腕关键点
、
手掌关键点和手指关键点；
[0029]针对每个第二影像，将所述第二影像中的手部特征值与所述第二影像中的各个手部关键点位置绑定，以便得到与第二数据集对应的映射集，所述映射集包括每个第二影像的手部特征值与手部关键点位置的映射关系
。
[0030]在本申请实施例中，所述基于所述交互手势和所述使用者手腕在现实空间的位置，确定所述使用者手掌及手指在现实空间的位置，包括：
[0031]基于所述使用者的交互手势
、
所述使用者手腕在现实空间的位置，以及预先获取的所述使用者手部关键点的相对位置关系，确定所述使用者手掌及手指在现实空间的位置；
[0032]其中，所述使用者手部关键点的相对位置关系包括：手掌关键点与手腕关键点的相对位置关系，及手指关键点与手腕关键点的相对位置关系
。
[0033]在本申请实施例中，所述使用者手部关键点的相对位置关系基于如下方式获取：
[0034]基于所述双目摄像头获取包含所述使用者手部的第三影像，其中所述第三影像包含所述使用者手部的全部关键点；
[0035]将所述第三影像输入所述手部关键点识别模型，得到所述第三影像的手部特征值；
[0036]基于所述手部特征值以及所述映射集，获取所述第三影像中手部的各个关键点；
[0037]基于所述第三影像中手部的各个关键点，获取所述使用者手部关键点的相对位置关系
。
[0038]在本申请实施例中，当所述使用者手部位于所述双目摄像头的视野范围内时，所
述确定所述使用者手掌及手指在现实空间的位置，包括：
[0039]基于所述第一影像中的使用者手腕关键点在现实空间的位置
、
所述使用者的交互手势，以及所述使用者手部关键点的相对位置关系，确定所述使用者手掌关键点和手指关键点在现实空间的位置；
[0040]基于所述使用者手掌关键点和手指关键点在现实空间的位置，确定所述使用者手掌及手指在现实空间的位置
。
[0041]在本申请实施例中，所述第一设备还包括加速度计，所述加速度计用于获取使用者手部的加速度，所述确定所述使用者手掌及手指在现实空间的位置，包括：
[0042]基于所述双目摄像头获取包含所述使用者手腕的第四影像；
[0043]基于所述手部关键点识别模型，获取所述第四影像中使用者的手腕关键点；
[0044]基于双目摄像头的空间定位法，确定所述第四影像中的使用者的手腕关键点在现实空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手势位置确定方法，运用于交互设备，所述方法包括：获取使用者手腕预设区域的物理监测量；基于所述物理监测量，确定使用者的交互手势；获取使用者手腕在现实空间的位置；基于所述交互手势和所述使用者手腕在现实空间的位置，确定所述使用者手掌及手指在现实空间的位置
。2.
如权利要求1所述的手势位置确定方法，所述物理监测量由第一设备采集，所述第一设备设有腕带，所述腕带上设有多个压力传感器；所述获取使用者手腕预设区域的物理监测量包括：基于所述腕带上的多个压力传感器，获取所述使用者手部在进行交互时手腕预设区域的压力值
。3.
如权利要求2所述的手势位置确定方法，所述基于所述物理监测量，确定使用者的交互手势，包括：基于手势估计模型
、
所述多个压力传感器的压力值，以及所述使用者的手部描述信息，确定使用者的交互手势
。4.
一种交互方法，所述交互方法包括：采用如权利要求1至3中任一项所述的手势位置确定方法，获取使用者的交互手势及使用者手腕
、
手掌
、
手指在现实空间的位置；基于所述交互手势和所述使用者手腕
、
手掌
、
手指在现实空间的位置，确定所述使用者所做出的交互信息
。5.
一种手势位置确定装置，运用于交互设备，所述手势位置确定装置包括：获取模块，用于获取使用者手腕预设区域的物理监测量；处理模块，用于基于所述使用者手腕预设区域的物理检测量，确定使用者的交互手势；以及基于所述包含使用者手腕的影像确定使...

【专利技术属性】
技术研发人员：简阳，
申请(专利权)人：深圳方宇智云科技有限公司，
类型：发明
国别省市：