扩展现实交互方法、装置、电子设备和存储介质制造方法及图纸

本公开提供扩展现实交互方法、装置、电子设备和存储介质。所述扩展现实交互方法包括：获取用户在扩展现实场景中的动作数据；根据所述动作数据，确定用户的动作类型；根据所述动作类型，触发相应的交互模式，所述交互模式包括手柄追踪模式和裸手追踪模式。本公开的方法通过识别用户的动作类型，进而根据动作类型触发目标交互模式进行计算处理，无需预先通过人工手动设置切换交互模式。工手动设置切换交互模式。工手动设置切换交互模式。

【技术实现步骤摘要】
扩展现实交互方法、装置、电子设备和存储介质


[0001]本公开涉及智能终端
，尤其涉及一种扩展现实交互方法、装置、电子设备和存储介质。

技术介绍

[0002]扩展现实XR设备(Extended Reality)均能够同时支持手柄追踪控制器和手势识别交互，但是需要人工预先设置交互模式，当用户选择手柄追踪模式时，仅能识别手柄动作，当用户选择手势识别时，仅能识别手势动作。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]本公开提供一种扩展现实交互方法、装置、电子设备和存储介质。
[0005]本公开采用以下的技术方案。
[0006]在一些实施例中，本公开提供一种扩展现实交互方法，包括：
[0007]获取用户在扩展现实场景中的动作数据；
[0008]根据所述动作数据，确定用户的动作类型；
...

【技术保护点】

【技术特征摘要】
1.一种扩展现实交互方法，其特征在于，包括：获取用户在扩展现实场景中的动作数据；根据所述动作数据，确定用户的动作类型；根据所述动作类型，触发相应的交互模式，所述交互模式包括手柄追踪模式和裸手追踪模式。2.根据权利要求1所述的方法，其特征在于，所述获取用户在扩展现实场景中的动作数据，包括：获取用户在预设时间段内做出的一系列动作数据，所述动作数据包括动作图像和位姿数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述动作数据，确定用户的动作类型，包括：将所述动作图像和所述位姿数据输入至识别模型中，输出动作类型；其中，所述识别模型是基于所述动作图像和所述位姿数据作为输入数据，所述动作类型作为输出数据，对强化学习模型进行训练后得到的。4.根据权利要求1所述的方法，其特征在于，所述动作类型包括手柄动作和手势动作。5.根据权利要求2所述的方法，其特征在于，所述根据所述动作数据，确定用户的动作类型，还包括：根据所述动作数据，确定用户的动作姿态；将所述动作姿态与预设的动作模板进行匹配，确定用户的动作类型。6.根据权利要求1所述的方法，其特征在于，所述根据所述动作类型，触发相应的交互模式，包括：根据所述动作类型，生成交互控制指令；根据所述交互控制指令，触发相应的交互模式进行计算处理。7.根据权利要求1所述的方法，其特征在于，所述手柄追踪模式包括：手柄与扩展现实设备通信连接，通过所述手柄进行扩展现实交互；所述裸手追踪模式包括：采集并识别裸手的手势动作和追踪信息，通过所述手势动作和所述追踪信息进行扩展现实交互。8.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：饶小林，刘静薇，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：