一种XR手势输入实现方法和系统技术方案

本说明书实施例提供一种XR手势输入实现方法和系统，该方法包括：基于获取的第一辅助数据，确定环境评估数据；获取用户的登录手势并进行手势识别，确定所述用户是否可以登录虚拟会议空间；所述登录手势的获取与所述环境评估数据相关；响应于所述用户可以登录虚拟会议空间，获取交互手势；所述交互手势的获取与所述环境评估数据相关；基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互。虚拟场景的交互。虚拟场景的交互。

【技术实现步骤摘要】
一种XR手势输入实现方法和系统


[0001]本说明书涉及XR
，特别涉及一种XR手势输入实现方法和系统。

技术介绍

[0002]随着XR技术的日益发展，该技术已逐渐应用于医疗、教育、娱乐、艺术等领域。通过XR技术提供的虚拟现实环境，可以使用户获得沉浸式体验。但目前虚拟现实设备需要使用手柄、触屏等方式进行输入、交互，这种交互方式较为繁琐且使用场景受限。
[0003]因此，希望提供一种XR手势输入实现方法和系统，以解决现有XR技术交互方式操作复杂、使用场景受限的问题。

技术实现思路

[0004]本说明书一个或多个实施例提供一种XR手势输入实现方法。所述方法包括：基于获取的第一辅助数据，确定环境评估数据；获取用户的登录手势并进行手势识别，确定所述用户是否可以登录虚拟会议空间；所述登录手势的获取与所述环境评估数据相关；响应于所述用户可以登录虚拟会议空间，获取交互手势；所述交互手势的获取与所述环境评估数据相关；基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互。
[0005]本说明书实一个或多个实施例提供一种XR手势输入实现系统，所述系统包括：环境评估数据确定模块，用于基于获取的第一辅助数据，确定环境评估数据；用户登录确定模块，用于获取用户的登录手势并进行手势识别，确定所述用户是否可以登录虚拟会议空间；所述登录手势的获取与所述环境评估数据相关；交互手势获取模块，用于获取交互手势；所述交互手势的获取与所述环境评估数据相关；XR交互实现模块，用于基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互。
附图说明
[0006]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0007]图1是根据本说明书一些实施例所示的XR手势输入实现系统的应用场景示意图；
[0008]图2是根据本说明书一些实施例所示的XR手势输入实现的系统模块图；
[0009]图3是根据本说明书一些实施例所示的XR手势输入实现方法的示例性流程图；
[0010]图4是根据本说明书一些实施例所示的XR手势输入实现方法的手势识别模型示意图；
[0011]图5是根据本说明书一些实施例所示的确定当前用户是否可以登录虚拟会议空间的示例性流程图；
[0012]图6是根据本说明书一些实施例所示的与虚拟会议空间内的虚拟场景交互的示例
性流程图。
具体实施方式
[0013]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0014]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0015]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0016]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0017]本说明书的一些实施例，提供一种XR手势输入实现方法和系统，该方法可以应用于各种行业中的操作场景(例如，医疗行业中的手术等)，XR手势输入可以使专家在虚拟环境中沉浸式对患者的目标物体或结构进行模拟操作，以实现对远程操作的实时指导。其中，XR是指扩展现实技术(Extended Reality)，通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境。XR可以打破虚拟与现实的边界，将虚拟的内容和真实场景融合打造出更加真实的虚拟现实场景。在本说明书的一些实施例中，XR设备可以包括虚拟现实技术(Virtual Reality，VR)、增强现实技术(Augmented Reality，AR)、混合现实技术(Mixed Reality，MR)等设备，本说明书对此不做限制。本说明书的一些实施例还可以应用在其他场景中，例如游戏、艺术交互等场景。
[0018]图1是根据本说明书一些实施例所示的XR手势输入实现系统的应用场景示意图。
[0019]如图1所示，XR手势输入实现系统的应用场景100可以包括处理设备110、网络120、虚拟现实设备130、功能设备140、存储设备150。应用场景100中的组件可以以一种或多种不同的方式连接。在一些实施例中，可以将功能设备140通过网络120连接到处理设备110。在一些实施例中，可以将功能设备140直接连接到处理设备110。在一些实施例中，虚拟现实设备130可以通过网络120连接到应用场景100的另一个组件(例如，处理设备110)。在一些实施例中，虚拟现实设备可以通过网络120连接到存储设备150。在一些实施例中，可以将虚拟现实设备130直接连接到功能设备140和/或处理设备110。
[0020]处理设备110可以处理从虚拟现实设备130、功能设备140和/或其他组件获得的数据和/或信息。在一些实施例中，处理设备110可以托管一个模拟的虚拟世界，或用于虚拟现实设备130的元域。例如，处理设备110可以基于功能设备140收集到的与受试者(例如，患
者)有关的数据生成三维模型。处理设备110可以指示虚拟现实设备130的显示组件131向用户显示生成的三维模型。处理设备110可以实现用户在三维模型上的交互操作。
[0021]在一些实施例中，处理设备110可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式的也可以是分布式的。例如，元域的指定区域可以由单个服务器模拟。在一些实施例中，处理设备110可以包括多个专用于物理模拟的模拟服务器，以管理交互和处理元宇宙中字符和对象之间的碰撞。
[0022]在一些实施例中，处理设备110可以是局部的或远程的。例如，处理设备110可以通过网络120访问来自功能设备140的数据和/或信息；或者处理设备110可以直接连接到功能设备140以访问数据和/或信息。
[0023]在一些实施例中，处理设备110可以包括一个或多个子处理设备(例如，单核处理设备或多核多芯处理设备)。仅作为示例，处理设备110可以包括中央处理器(CPU)、专用集成电路(ASIC)等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XR手势输入实现方法，包括：基于获取的第一辅助数据，确定环境评估数据；获取用户的登录手势并进行手势识别，确定所述用户是否可以登录虚拟会议空间；所述登录手势的获取与所述环境评估数据相关；响应于所述用户可以登录虚拟会议空间，获取交互手势；所述交互手势的获取与所述环境评估数据相关；基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互。2.根据权利要求1所述的方法，所述登录手势、所述交互手势基于摄像装置采集的手势图像获得；所述手势识别包括：基于手势识别模型对所述手势图像的处理，获取手势识别结果；所述手势识别模型为机器学习模型。3.根据权利要求1所述的方法，所述获取用户的登录手势并进行手势识别，确定所述用户是否可以登录虚拟会议空间包括：基于摄像装置采集登录手势图像；基于所述登录手势图像获取语义特征、手势特征；判断所述语义特征是否满足第一预设条件；判断所述手势特征是否满足第二预设条件；响应于所述第一预设条件、所述第二预设条件被满足，确定所述用户可以登录所述虚拟会议空间。4.根据权利要求1所述的方法，所述基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互包括：获取目标体的建模数据，基于所述建模数据创建所述目标体的三维模型；基于对所述交互手势的手势识别，确定操作信息；获取所述操作信息作用于所述三维模型后的虚拟操作图像；将所述虚拟操作图像以三维成像的方式在实际操作场景和/或所述虚拟操作场景的第一预设位置进行三维成像。5.根据权利要求4所述的方法，所述基于对所述交互手势的手势识别，实现所述用户与所述虚拟会议空间内的虚拟场景的交互还包括：获取所述操作信息的语义信息；将所述语义信息在实际操作场景和/或所述虚拟操作场景...

【专利技术属性】
技术研发人员：印眈峰，柳俊呈，
申请(专利权)人：直觉睿视有限公司，
类型：发明
国别省市：