System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 增强现实设备操控方法、装置、电子设备及可读存储介质制造方法及图纸_技高网

增强现实设备操控方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:40876359 阅读:2 留言:0更新日期:2024-04-08 16:45
本申请实施例提供了一种增强现实设备操控方法、装置、电子设备及可读存储介质,该方法包括:建立与用户的增强现实设备之间的通信连接;在用户发出手部动作时,获取手部动作对应的动作类型;基于动作类型获取对应的操控信息,并将操控信息通过通信连接发送至增强现实设备,以使增强现实设备基于操控信息进行相应操控。该方案实现了通过手部动作操控增强现实设备,实现操控所需的手部运动少,手部运动幅度小,且手部也无需守护在特定范围运动,极大的提高了用户对增强现实设备的操控体验。

【技术实现步骤摘要】

本申请涉及计算机,具体而言,本申请涉及一种增强现实设备操控方法、装置、电子设备及可读存储介质


技术介绍

1、增强现实技术是一种将虚拟信息与真实世界融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。

2、随着增强现实技术的普及,增强现实设备也越来越普遍,用户在使用增强现实设备时需要进行增强现实设备的操控。目前主要有两种操控方式,其一为使用单独的握持设备(例如手柄或手机),具体来说,使用手柄或手机触控屏进行操控。但是,该方式即使不在操作状态时也需要使用手部长时间握持,不适合长时间操作,而且会妨碍手部的日常活动。其二是使用隔空手势,具体来说,使用计算机视觉技术通过增强现实设备的摄像头捕捉识别用户在面前挥舞的手势,进而实现操控。该方式对周围环境要求苛刻,比如无法在暗光环境下进行操作。另外,该方式必须将手抬到头戴显示设备的摄像头能够覆盖到的区域,长时间操作会导致疲劳。

3、因此,针对上述问题,有必要提供一种新的增强现实设备操控方法。


技术实现思路

1、本申请的目的旨在至少能解决上述的技术缺陷之一,本申请实施例所提供的技术方案如下:

2、第一方面,本申请实施例提供了一种增强现实设备操控方法,包括:

3、建立与用户的增强现实设备之间的通信连接;

4、在用户发出手部动作时,获取手部动作对应的动作类型;

5、基于动作类型获取对应的操控信息,并将操控信息通过通信连接发送至增强现实设备,以使增强现实设备基于操控信息进行相应操控。

6、在本申请的一种可选实施例中,在用户发出手部动作时,获取手部动作对应的动作类型,包括:

7、在用户发出手部动作时,通过预设传感器采集手腕关节运动和/或手腕肌肉运动所产生的电学信号;

8、基于电学信号获取手部动作对应的动作类型。

9、在本申请的一种可选实施例中,基于电学信号获取手部动作对应的动作类型,包括:

10、将电学信号输入训练好的预设动作识别模型,输出手部动作的动作类型分别为各预设动作类型的概率,其中,训练好的预设动作识别模型是基于预设训练样本集训练得到的,训练样本集中的每一训练样本为标注有对应的预设动作类型的样本电学信号;

11、基于手部动作的动作类型分别为各预设动作类型的概率,确定手部动作对应的动作类型。

12、在本申请的一种可选实施例中,基于手部动作的动作类型分别为各预设动作类型的概率,确定手部动作对应的动作类型,包括:

13、将手部动作的动作类型分别为各预设动作类型的概率中最大概率对应的预设动作类型,确定为手部动作对应的动作类型。

14、在本申请的一种可选实施例中,基于动作类型获取对应的操控信息,包括:

15、将动作类型作为操控信息;

16、将操控信息通过通信连接发送至增强现实设备,以使增强现实设备基于操控信息进行相应操控,包括:

17、将手部动作的动作类型通过通信连接发送至增强现实设备,以使增强现实设备基于预设操控指令映射表获取动作类型对应的操控指令,若操控指令属于预设操控指令授权列表,则执行操控指令;

18、其中,预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系,预设操控指令授权列表中存储有授权用户使用的各操控指令。

19、在本申请的一种可选实施例中,该方法还包括:

20、接收增强现实设备发送的预设操控指令映射表和预设操控指令授权列表,预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系,预设操控指令授权列表中存储有授权用户使用的各操控指令。

21、在本申请的一种可选实施例中,基于动作类型获取对应的操控信息,包括:

22、基于预设操控指令映射表获取动作类型对应的操控指令;

23、将操控信息通过通信连接发送至增强现实设备,以使增强现实设备基于操控信息进行相应操控,包括:

24、若操控指令属于预设操控指令授权列表,则将操控指令通过通信连接发送至增强现实设备,以使增强现实设备执行操控指令。

25、第二方面,本申请实施例提供了一种增强现实设备操控装置,其特征在于,包括:

26、通信连接建立模块,用于建立与用户的增强现实设备之间的通信连接;

27、动作类型获取模块,用于在用户发出手部动作时,获取手部动作对应的动作类型;

28、操控模块,用于基于动作类型获取对应的操控信息,并将操控信息通过通信连接发送至增强现实设备,以使增强现实设备基于操控信息进行相应操控。

29、在本申请的一种可选实施例中,动作类型获取模块具体用于:

30、在用户发出手部动作时,通过预设传感器采集手腕关节运动和/或手腕肌肉运动所产生的电学信号;

31、基于电学信号获取手部动作对应的动作类型。

32、在本申请的一种可选实施例中,动作类型获取模块进一步用于:

33、将电学信号输入训练好的预设动作识别模型,输出手部动作的动作类型分别为各预设动作类型的概率,其中,训练好的预设动作识别模型是基于预设训练样本集训练得到的,训练样本集中的每一训练样本为标注有对应的预设动作类型的样本电学信号;

34、基于手部动作的动作类型分别为各预设动作类型的概率,确定手部动作对应的动作类型。

35、在本申请的一种可选实施例中,动作类型获取模块进一步用于:

36、将手部动作的动作类型分别为各预设动作类型的概率中最大概率对应的预设动作类型,确定为手部动作对应的动作类型。

37、在本申请的一种可选实施例中,操控模块具体用于:

38、将动作类型作为操控信息;

39、将手部动作的动作类型通过通信连接发送至增强现实设备,以使增强现实设备基于预设操控指令映射表获取动作类型对应的操控指令,若操控指令属于预设操控指令授权列表,则执行操控指令;

40、其中,预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系,预设操控指令授权列表中存储有授权用户使用的各操控指令。

41、在本申请的一种可选实施例中,该装置还可以包括映射表接收模块,用于:

42、接收增强现实设备发送的预设操控指令映射表和预设操控指令授权列表,预设操控指令映射表中存储有各动作类型与各操控指令之间的对应关系,预设操控指令授权列表中存储有授权用户使用的各操控指令。

43、在本申请的一种可选实施例中,操控模块具体用于:

44、基于预设操控指令映射表获取动作类型对应的操控指令;

45、若操控指令属于预设操控指令授权列表,则将操控指令通过通信连接发送至增强现实设备,以使增强现实设备执本文档来自技高网...

【技术保护点】

1.一种增强现实设备操控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述用户发出手部动作时,获取所述手部动作对应的动作类型,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述电学信号获取手部动作对应的动作类型,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述手部动作的动作类型分别为各预设动作类型的概率,确定所述手部动作对应的动作类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述动作类型获取对应的操控信息,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述动作类型获取对应的操控信息,包括:

8.一种增强现实设备操控装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括存储器和处理器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种增强现实设备操控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述用户发出手部动作时,获取所述手部动作对应的动作类型,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述电学信号获取手部动作对应的动作类型,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述手部动作的动作类型分别为各预设动作类型的概率,确定所述手部动作对应的动作类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所...

【专利技术属性】
技术研发人员:杨天翼尹子硕陈昊芝
申请(专利权)人:北京正负无限科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1