跟踪手姿势的方法及其电子设备技术

提供了一种通过可穿戴设备在虚拟现实(VR)环境中进行手姿势跟踪的方法。该方法包括校准被配置为检测手指相对于用户的手的方位的多个传感器，识别由多个传感器获得的传感器数据，以及基于传感器数据跟踪手的姿势。

【技术实现步骤摘要】
【国外来华专利技术】跟踪手姿势的方法及其电子设备
本公开涉及可穿戴设备。更具体地，本公开涉及用于在虚拟现实(VR)环境中跟踪手姿势的可穿戴设备和方法。
技术介绍
通常，VR环境是通过VR设备创建并呈现给用户的模拟环境。当用户要在VR环境中用手进行一些交互时，诸如拉、推或拿东西，VR环境提供了虚拟手。此外，使用诸如按钮、操纵杆或触摸板的手持控制器来操作虚拟手，以执行交互，该交互不提供直观和真实用户体验。此外，手持控制器的使用缺乏VR设备所期望的直观性和无缝性。在相关技术的一些VR系统中，虚拟手与手跟踪系统一起用于VR环境中，以跟踪用户的手的姿势、运动和位置。然而，手跟踪系统使用传感器，这些传感器通常不能精确地跟踪用户手指的位置，从而导致在VR环境中用户的手的运动表现不佳。此外，由于传感器的数量和传感器的放置，用于手部跟踪的可穿戴设备的功能有限。此外，为单个用户设计的带有传感器的可穿戴设备可能无法跟踪另一个用户的手姿势。并且，由于适合度的可变性，可穿戴设备没有定义明确的校准技术。以上信息仅作为背景信息提供，以帮助理解本公开。对于上述任何一个是否可以用作本公开的现有技术，还没有做出确定，也没有做出断言。
技术实现思路
技术方案本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一方面是提供一种用于虚拟现实(VR)环境中进行手姿势跟踪的可穿戴设备和方法。本公开的另一方面是接收对于用户的多个手姿势的可穿戴设备中的多个传感器的方位信息。本公开的另一方面是将接收到的多个传感器的方位信息与用户手姿势的预定方位进行映射。本公开的另一方面是基于从可穿戴设备中的多个传感器和VR设备中的一个或多个位置跟踪传感器接收的方位信息，在VR环境中动态地跟踪手姿势。本公开的另一方面是当用户的手在VR设备的位置跟踪传感器的视场之外时，跟踪用户的手姿势。附加的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来习得。根据本公开的一方面，提供了一种通过可穿戴设备在VR环境中进行手姿势跟踪的方法。该方法包括接收对于用户的多个手姿势的可穿戴设备中的多个传感器的方位信息，以及将接收到的多个传感器的方位信息与用户的手姿势的预定方位进行映射。此外，该方法还包括确定可穿戴设备相对于VR设备的绝对初始方位。此外，该方法包括基于从可穿戴设备中的多个传感器和VR设备中的一个或多个位置跟踪传感器接收的方位信息，在VR环境中动态地跟踪手姿势。根据本公开的另一方面，提供了一种用于在VR环境中进行手姿势跟踪的可穿戴设备。该可穿戴设备包括覆盖用户的手的至少三个手指的手套和嵌入在手套上的多个传感器。此外，可穿戴设备由电池供电，并且还包括一个或多个位置跟踪传感器。可穿戴设备被配置为接收对于用户的多个手姿势的可穿戴设备中的多个传感器的方位信息，并将接收到的多个传感器的方位信息与用户的手姿势的预定方位进行映射。此外，可穿戴设备还被配置为确定可穿戴设备相对于VR设备的绝对初始方位，以及基于从可穿戴设备中的多个传感器和VR设备中的一个或多个位置跟踪传感器接收的方位信息，在VR环境中动态地跟踪手姿势。根据本公开的另一方面，提供了一种通过可穿戴设备在交互式环境中进行手姿势跟踪的方法。该方法包括接收对于用户的多个手姿势的可穿戴设备中的多个传感器的方位信息，以及将接收到的多个传感器的方位信息与用户的手姿势的预定方位进行映射。该方法还包括确定可穿戴设备相对于交互式电子设备的绝对初始方位，以及基于从可穿戴设备中的多个传感器接收的方位信息和从交互式电子设备中的一个或多个位置跟踪传感器接收的信息，在交互式环境中动态地跟踪手姿势。根据本公开的另一方面，提供了一种用于操作电子设备的方法。该方法包括校准被配置为检测手指相对于用户的手的方位的多个传感器，识别由多个传感器获得的传感器数据，以及基于传感器数据跟踪手的姿势。根据本公开的另一方面，提供了一种电子设备。该电子设备包括显示器、收发器和至少一个处理器，该至少一个处理器与收发器和显示器电耦合，并且被配置为校准被配置为检测手指相对于用户的手的方位的多个传感器，识别由多个传感器获得的传感器数据，以及基于传感器数据跟踪手的姿势。根据本公开的另一方面，提供了一种用于在VR环境中进行手姿势跟踪的可穿戴设备。可穿戴设备包括：手套，覆盖拇指的至少一部分、食指的至少一部分和中指的至少一部分；耦合到手套的固定构件；布置在手套上并被配置为检测拇指、食指和中指的方位的多个传感器；以及位于固定构件上并被配置为发送由多个传感器获得的传感器数据的处理器。本专利技术的其他方面、优点和显著特征对于本领域技术人员来说将从以下结合附图公开了本专利技术的各种实施例的详细描述中变得显而易见。附图说明从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加显而易见，其中：图1A示出了示出根据本公开的实施例的在相对于虚拟现实(VR)设备校准可穿戴设备之前，相对于VR设备的手姿势跟踪的示例；图1B示出了示出根据本公开的实施例的在相对于VR设备校准可穿戴设备之后，相对于VR设备的手姿势跟踪的示例；图2示出了根据本公开的实施例的用于在VR环境中进行手姿势跟踪的可穿戴设备；图3是示出根据本公开的实施例的由可穿戴设备在VR环境中进行手姿势跟踪的方法的流程图；图4示出了根据本公开的实施例的基于传感器数据融合技术来确定用户的手的方位的方法；图5示出了根据本公开的实施例的用于执行可穿戴设备的用户特定的校准的特定手姿势；图6A示出了根据本公开的实施例的用于确定未被可穿戴设备覆盖的用户的手的无名指和小指的近似手指方位的方法；图6B示出了根据本公开的实施例的用于确定未被可穿戴设备覆盖的用户的手的无名指和小指的近似手指方位的方法；图6C示出了根据本公开的实施例的用于确定未被可穿戴设备覆盖的用户的手的无名指和小指的近似手指方位的方法；图7示出了根据本公开实施例的可穿戴设备相对于VR设备的校准的示例；图8示出了根据本公开的实施例的从达文波特(Davenport)q方法和用于方位估计的传感器融合方法计算的传感器方位的比较；图9示出了根据本公开的实施例的使用量角器作为参考来确定用于方位估计的传感器融合方法的精度的装置；图10A示出了根据本公开的实施例的当用户的手在IMU(Inertialmeasurementunit，惯性测量单元)传感器的视场内时，使用相机和惯性测量单元传感器在VR环境中进行的手姿势跟踪；图10B示出了根据本公开的实施例的当用户的手在IMU传感器的视场之外时，使用相机和IMU传感器在VR环境中进行的手姿势跟踪；图11示出了根据本公开实施例的用于方位估计的传感器融合方法获得的预期旋转角度和预测角度的比较；图12示出了根据本公开的实施例的用于确定用户的手的绝对方位的示例场景；和图13是示出根据本公开的本文档来自技高网...

【技术保护点】
1.一种用于操作电子设备的方法，所述方法包括：/n校准被配置为检测手指相对于用户的手的方位的多个传感器；/n识别由所述多个传感器获得的传感器数据；以及/n基于所述传感器数据跟踪手的姿势。/n

【技术特征摘要】
【国外来华专利技术】20180209 IN 201841005033;20181204 IN 2018410050331.一种用于操作电子设备的方法，所述方法包括：
校准被配置为检测手指相对于用户的手的方位的多个传感器；
识别由所述多个传感器获得的传感器数据；以及
基于所述传感器数据跟踪手的姿势。


2.根据权利要求1所述的方法，其中，跟踪手的姿势包括：
基于所述传感器数据识别所述多个传感器的方位信息；
将所述方位信息与用户的手姿势的预定方位进行映射；
确定可穿戴设备相对于虚拟现实(VR)设备的初始方位；以及
基于所述方位信息在VR环境中跟踪手的姿势。


3.根据权利要求1所述的方法，其中，所述多个传感器的校准包括：
显示用于请求保持用户的手的至少一个姿势或手的至少一个放置的引导信息；以及
基于用户的手的至少一个姿势或手的至少一个放置来校准所述多个传感器。


4.一种电子设备，包括：
显示器；
收发器；和
至少一个处理器，与所述收发器和所述显示器电耦合，并被配置为：
校准被配置为检测手指相对于用户的手的方位的多个传感器；
识别由所述多个传感器获得的传感器数据；以及
基于所述传感器数据跟踪手的姿势。


5.根据权利要求4所述的电子设备，其中，所述至少一个处理器还被配置为：
基于所述传感器数据识别所述多个传感器的方位信息；
将所述方位信息与用户的手姿势的预定方位进行映射；
确定可穿戴设备相对于所述电子设备的初始方位；以及
基于所述方位信息在虚拟现实(VR)环境中跟踪手的姿势。


6.根据权利要求5所述的电子设备，其中，所述至少一个处理器还被配置为接收用户的手相对于所述电子设备之间的相对方位。


7.根据权利要求5所述的电子设备，其中，所述多个传感器被放置在所述可穿戴设备上的预定位置，以跟踪用户的手相对于所述电子设备的运动。


8.根据权利要求5所述的电子设备，其中，所述至少一个处理器还被配置为：
使用...

【专利技术属性】
技术研发人员：G古普塔，A蒙达尔，P戈尔，A德，C佩里，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR