一种虚拟触控识别方法、设备及存储介质技术

本申请实施例提供一种虚拟触控识别方法、设备及存储介质。在该方法中，可在用户与智能设备展示的虚拟界面进行触控交互时，获取智能设备在交互时刻拍摄用户手部得到的深度图像；基于深度图像，识别用户的第一手部关键点以及第一手部关键点的位置信息。获取用户的第二手部关键点以及第二手部关键点的位置信息；第二手部关键点以及第二手部关键点的位置信息，根据另一智能设备在交互时刻拍摄用户手部得到的深度图像确定。根据第一手部关键点的位置信息以及第二手部关键点的位置信息，确定用户的虚拟触控位置。通过这种方式，智能设备可在手部关键点被遮挡的情况下，结合其他智能设备在各自视角下获取的位置信息，较为准确地确定用户的虚拟触控位置。户的虚拟触控位置。户的虚拟触控位置。

【技术实现步骤摘要】
一种虚拟触控识别方法、设备及存储介质


[0001]本申请涉及智能可穿戴
，尤其涉及一种虚拟触控识别方法、设备及存储介质。

技术介绍

[0002]随着虚拟现实、增强现实和混合现实等相关技术的高速发展，头戴式智能设备不断推陈出新且使用体验逐渐提高，如头戴式虚拟现实眼镜、头戴式混合现实眼镜等智能眼镜。
[0003]在现有技术中，可利用智能眼镜在虚拟场景中生成虚拟界面，并基于虚拟触控的方式与虚拟界面进行交互。在一种虚拟触控的识别方法中，可基于图像采集传感器确定真实场景中用户的手部关键点位置，以根据手部关键点位置判断真实场景中的用户是否与虚拟场景中的虚拟界面进行了交互。
[0004]但是，用户与虚拟界面进行交互时，其手部的关键点可能会被其他物体或者手部其他部位遮挡，导致图像采集传感器无法对这些被遮挡的关键点进行图像采集，从而导致智能眼镜无法较为准确地确定用户的虚拟触控位置。因此，一种解决方案亟待被提出。

技术实现思路

[0005]本申请的多个方面提供一种虚拟触控识别方法、设备及存储介质，用以较为准确地确定用户的虚拟触控位置。
[0006]本申请提供一种虚拟触控识别方法，包括：在用户与第一智能设备展示的虚拟界面进行触控交互时，获取所述第一智能设备在任一交互时刻拍摄所述用户的手部得到的第一深度图像；基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息；获取所述用户的第二手部关键点以及所述第二手部关键点的第二位置信息；所述第二手部关键点以及所述第二手部关键点的第二位置信息，根据第二智能设备在所述交互时刻拍摄所述用户的手部得到的第二深度图像确定；根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置。
[0007]可选地，基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息，包括：利用计算机视觉算法，从所述第一深度图像中识别所述用户的第一手部关键点；利用双目定位算法，确定所述第一手部关键点在第一设备坐标系中的坐标以及坐标可信度，作为所述第一位置信息；所述第一设备坐标系为所述第一智能设备所在的坐标系。
[0008]可选地，所述第二手部关键点的第二位置信息包括：所述第二手部关键点在第二设备坐标系中的坐标以及坐标可信度；所述第二设备坐标系为所述第二智能设备所在的坐标系。
[0009]可选地，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第
二位置信息，确定所述用户的虚拟触控位置之前，还包括：根据所述第一设备坐标系和所述第二设备坐标系之间的坐标系转换关系，将所述第二手部关键点在所述第二设备坐标系中的位置信息转换到所述第一设备坐标系中，得到所述第二手部关键点的第二位置信息。
[0010]可选地，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置，包括：根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定目标手部关键点的坐标；所述目标手部关键点为所述第一手部关键点以及所述第二手部关键点的并集；根据所述目标手部关键点的坐标，计算所述手部的指尖坐标，作为虚拟触控位置。
[0011]可选地，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定目标手部关键点的坐标，包括：从所述第一手部关键点以及所述第二手部关键点中，确定至少一组重复关键点；任一组重复关键点包含具有相同关节标识的多个关键点；针对任一组重复关键点中的多个关键点，根据所述多个关键点各自的坐标以及坐标可信度，从所述多个关键点中选择坐标可信度较高的关键点添加到所述目标关键点中。
[0012]可选地，还包括：获取所述第一手部关键点和所述第二手部关键点各自的环境可信度；根据所述第一手部关键点和所述第二手部关键点各自的环境可信度和坐标可信度，计算所述第一手部关键点和所述第二手部关键点各自的综合坐标可信度；根据所述多个关键点各自的坐标以及坐标可信度，从所述多个关键点中选择坐标可信度较高的关键点添加到所述目标关键点中，包括：根据所述多个关键点各自的综合坐标可信度，从所述多个关键点中选择综合坐标可信度较高的关键点添加到所述目标关键点中。
[0013]可选地，获取所述第一手部关键点和所述第二手部关键点各自的环境可信度，包括：分别获取所述第一深度图像和所述第二深度图像的手部背景信息，所述手部背景信息至少包括：背景纹理复杂度和/或背景亮度；根据所述第一深度图像和所述第二深度图像的手部背景信息，分别确定所述第一手部关键点和所述第二手部关键点的环境可信度。
[0014]可选地，还包括：响应于所述第一智能设备的运动操作，对所处环境中的静止参照物进行不同角度的拍摄，并基于拍摄到的多张参照物图像，确定所述第一智能设备的第一移动参数；根据所述第一移动参数，对所述第一智能设备的第一陀螺仪进行参数修正；基于修正后的参数，建立所述第一智能设备的第一设备坐标系。
[0015]可选地，还包括：对所述第二智能设备进行拍摄，基于拍摄到的设备图像确定所述第二智能设备的第二移动参数；将所述第二移动参数发送至所述第二智能设备，以供根据所述第二移动参数对所述第二智能设备的第二陀螺仪进行参数修正并基于修正后的参数建立所述第二智能设备的第二设备坐标系。
[0016]本申请实施例还提供一种虚拟触控识别方法，包括：在用户与第一智能设备展示的虚拟界面进行触控交互时，拍摄所述用户的手部，得到深度图像；根据所述深度图像，确定所述用户的手部关键点的位置信息；将所述位置信息发送至所述第一智能设备，以供根据所述手部关键点的位置信息以及所述第一智能设备从拍摄到的深度图像中识别到的手部关键点的位置信息，确定所述用户的虚拟触控位置。
[0017]可选地，还包括：对所处的环境进行拍摄，得到环境图像；所述环境图像包括：多个用户以及所述多个用户各自佩戴的智能设备；基于所述环境图像，建立所述多个用户各自佩戴的智能设备与所述多个用户的匹配关系；将所述位置信息发送至所述第一智能设备，
包括：根据所述匹配关系，将所述位置信息发送至与所述用户匹配的第一智能设备。
[0018]可选地，还包括：接收所述第一智能设备发送的移动参数；所述移动参数基于第一智能设备拍摄到的第二智能设备的设备图像确定；根据所述移动参数对所述第二智能设备的陀螺仪进行参数修正；基于修正后的参数，建立所述第二智能设备的设备坐标系；根据所述深度图像，确定所述用户的手部关键点的位置信息，包括：根据所述深度图像，确定所述用户的手部关键点在所述设备坐标系中各自的坐标以及坐标可信度。
[0019]本申请实施例还提供一种智能设备，包括：存储器、处理器；其中，所述存储器用于：存储一个或多个计算机指令；所述处理器用于执行所述一个或多个计算机指令，以用于：执行虚拟触控识别方法中的步骤。
[0020]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟触控识别方法，其特征在于，包括：在用户与第一智能设备展示的虚拟界面进行触控交互时，获取所述第一智能设备在任一交互时刻拍摄所述用户的手部得到的第一深度图像；基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息；获取所述用户的第二手部关键点以及所述第二手部关键点的第二位置信息；所述第二手部关键点以及所述第二手部关键点的第二位置信息，根据第二智能设备在所述交互时刻拍摄所述用户的手部得到的第二深度图像确定；根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置。2.根据权利要求1所述的方法，其特征在于，基于所述第一深度图像，识别所述用户的第一手部关键点以及所述第一手部关键点的第一位置信息，包括：利用计算机视觉算法，从所述第一深度图像中识别所述用户的第一手部关键点；利用双目定位算法，确定所述第一手部关键点在第一设备坐标系中的坐标以及坐标可信度，作为所述第一位置信息；所述第一设备坐标系为所述第一智能设备所在的坐标系。3.根据权利要求2所述的方法，其特征在于，所述第二手部关键点的第二位置信息包括：所述第二手部关键点在第二设备坐标系中的坐标以及坐标可信度；所述第二设备坐标系为所述第二智能设备所在的坐标系。4.根据权利要求3所述的方法，其特征在于，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置之前，还包括：根据所述第一设备坐标系和所述第二设备坐标系之间的坐标系转换关系，将所述第二手部关键点在所述第二设备坐标系中的位置信息转换到所述第一设备坐标系中，得到所述第二手部关键点的第二位置信息。5.根据权利要求4所述的方法，其特征在于，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定所述用户的虚拟触控位置，包括：根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定目标手部关键点的坐标；所述目标手部关键点为所述第一手部关键点以及所述第二手部关键点的并集；根据所述目标手部关键点的坐标，计算所述手部的指尖坐标，作为虚拟触控位置。6.根据权利要求5所述的方法，其特征在于，根据所述第一手部关键点的第一位置信息以及所述第二手部关键点的第二位置信息，确定目标手部关键点的坐标，包括：从所述第一手部关键点以及所述第二手部关键点中，确定至少一组重复关键点；任一组重复关键点包含具有相同关节标识的多个关键点；针对任一组重复关键点中的多个关键点，根据所述多个关键点各自的坐标以及坐标可信度，从所述多个关键点中选择坐标可信度较高的关键点添加到所述目标手部关键点中。7.根据权利要求6所述的方法，其特征在于，还包括：获取所述第一手部关键点和所述第二手部关键点各自的环境可信度；根据所述第一手部关键点和所述第二手部关键点各自的环境可信度和坐标可信度，计算所述第一手部关键点和所述第二手部关键点各自的综合坐标可信度；
根据所述多个关键点各自的坐标以及坐标可信度，从所述多个关键点中选择坐标可信度较高的关键点添加到所述目标关键点中，包括：根据所述多个关键点各自的综合坐标可信度，从所述多个关键点中选择综合坐标可信度较...

【专利技术属性】
技术研发人员：刘浩楠，胡琦，
申请(专利权)人：中数元宇数字科技上海有限公司，
类型：发明
国别省市：