System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 信息输入方法、装置、扩展现实系统及可读存储介质制造方法及图纸_技高网

信息输入方法、装置、扩展现实系统及可读存储介质制造方法及图纸

技术编号:40946921 阅读:4 留言:0更新日期:2024-04-18 20:20
本申请公开了一种信息输入方法、装置、扩展现实系统及可读存储介质,涉及计算机技术领域。所述信息输入方法包括以下步骤:获取用户针对目标虚拟键盘的空中滑行轨迹;对所述空中滑行轨迹进行关键点提取,获得轨迹关键点;获取所述目标虚拟键盘中各键盘字符的按键坐标;根据所述轨迹关键点和所述按键坐标,生成候选词汇;响应于用户针对所述候选词汇的选取指令,输入所述选取指令对应的候选词汇。本申请解决了当前扩展现实设备的信息输入效率偏低的技术问题。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种信息输入方法、装置、扩展现实系统及可读存储介质


技术介绍

1、随着技术的发展,人们希望可以在虚拟世界获得更便捷的交互体验。

2、目前,大量的虚拟现实、增强现实、混合现实等扩展现实设备的交互操作是通过手柄实现的。然而通过手柄输入的方式,不仅受限于手柄本身操作不够灵活,并且在输入时需要缓慢移动光标对准,然后通过手柄上的按键进行确认。由此,导致了当前扩展现实设备的信息输入效率偏低。


技术实现思路

1、本申请的主要目的在于提供一种信息输入方法,旨在解决当前扩展现实设备的信息输入效率偏低的技术问题。

2、为实现上述目的,第一方面,本申请提供一种信息输入方法,应用于信息输入设备,信息输入方法包括:

3、获取用户针对目标虚拟键盘的空中滑行轨迹;

4、对空中滑行轨迹进行关键点提取,获得轨迹关键点;

5、获取目标虚拟键盘中各键盘字符的按键坐标;

6、根据轨迹关键点和按键坐标,生成候选词汇;

7、响应于用户针对候选词汇的选取指令,输入选取指令对应的候选词汇。

8、根据第一方面,对空中滑行轨迹进行关键点提取,获得轨迹关键点的步骤,包括:

9、对空中滑行轨迹进行归一化处理,并进行切分得到轨迹序列;

10、基于轨迹序列进行特征提取,得到特征矩阵;

11、将特征矩阵输入预设关键点提取网络,得到特征矩阵对应的时间权重序列;

12、基于时间权重序列,对空中滑行轨迹中各轨迹点坐标进行筛选,得到轨迹关键点。

13、根据第一方面,或者以上第一方面的任意一种实现方式,基于时间权重序列,对空中滑行轨迹中各轨迹点坐标进行筛选,得到轨迹关键点步骤,包括:

14、将时间权重序列中大于预设权重阈值的轨迹点权重对应的轨迹点作为显著轨迹点;

15、确定时间权重序列中显著轨迹点的周边轨迹点的轨迹点权重;

16、若显著轨迹点的轨迹点权重大于周边轨迹点的轨迹点权重,则将显著轨迹点作为轨迹关键点。

17、根据第一方面,或者以上第一方面的任意一种实现方式,在将特征矩阵输入预设关键点提取网络,得到特征矩阵对应的时间权重序列的步骤之前,包括:

18、获取轨迹样本信息,其中轨迹样本信息包括滑行轨迹样本以及滑行轨迹样本的标注关键点;

19、将滑行轨迹样本输入初始关键点提取网络,得到滑行轨迹样本对应的当前关键点;

20、根据当前关键点和标注关键点,计算得到初始关键点提取网络的损失函数值;

21、基于损失函数值对初始关键点提取网络进行参数调整,直至初始关键点提取网络收敛,得到预设关键点提取网络。

22、根据第一方面,或者以上第一方面的任意一种实现方式,根据轨迹关键点和按键坐标,生成候选词汇的步骤,包括:

23、根据相邻的轨迹关键点的轨迹点坐标和按键坐标,计算得到各键盘字符的第一概率;

24、获取上一轨迹关键点对应的上一键盘字符,根据预设词库中的单一字符统计信息和上一键盘字符,计算得到各键盘字符的第二概率;

25、根据预设词库中的字符串统计信息和上一键盘字符,计算得到各键盘字符的第三概率;

26、根据第一概率、第二概率和第三概率,计算各键盘字符的综合概率,并基于各键盘字符的综合概率生成候选词汇。

27、根据第一方面,或者以上第一方面的任意一种实现方式,在获取用户针对目标虚拟键盘的空中滑行轨迹的步骤之前,包括:

28、响应于用户的信息输入指令,显示目标虚拟键盘;

29、在接收到用户的输入肢体针对目标虚拟键盘的轨迹起始操作后,识别出轨迹聚焦点,并将轨迹聚焦点投影至目标虚拟键盘上;

30、采集输入肢体在空中的滑行轨迹,直至接收到输入肢体针对目标虚拟键盘的轨迹结束操作,获得用户针对目标虚拟键盘的空中滑行轨迹。

31、根据第一方面,或者以上第一方面的任意一种实现方式,在接收到用户的输入肢体针对目标虚拟键盘的轨迹起始操作后,识别出轨迹聚焦点的步骤,包括:

32、对用户的预设非惯用手进行识别,在识别到预设非惯用手为预设输入手势后,识别出用户的预设惯用手对应的轨迹聚焦点;

33、采集输入肢体在空中的滑行轨迹,直至接收到输入肢体针对目标虚拟键盘的轨迹结束操作,获得用户针对目标虚拟键盘的空中滑行轨迹的步骤,包括:

34、采集输入肢体在空中的滑行轨迹,并对用户的预设非惯用手进行识别,在识别到预设非惯用手为预设结束手势后,结束输入肢体在空中的滑行轨迹的采集,获得用户针对目标虚拟键盘的空中滑行轨迹。

35、第二方面,本申请提供一种信息输入装置,应用于信息输入设备,信息输入装置包括:

36、第一获取模块,用于获取用户针对目标虚拟键盘的空中滑行轨迹;

37、关键点提取模块,用于对空中滑行轨迹进行关键点提取,获得轨迹关键点;

38、第二获取模块,用于获取目标虚拟键盘中各键盘字符的按键坐标;

39、词汇生成模块,用于根据轨迹关键点和按键坐标,生成候选词汇;

40、词汇输入模块,用于响应于用户针对候选词汇的选取指令,输入选取指令对应的候选词汇。

41、根据第二方面,关键点提取模块,还用于:

42、对空中滑行轨迹进行归一化处理,并进行切分得到轨迹序列;

43、基于轨迹序列进行特征提取,得到特征矩阵;

44、将特征矩阵输入预设关键点提取网络,得到特征矩阵对应的时间权重序列;

45、基于时间权重序列,对空中滑行轨迹中各轨迹点坐标进行筛选,得到轨迹关键点。

46、根据第二方面,或者以上第二方面的任意一种实现方式,关键点提取模块,还用于:

47、将时间权重序列中大于预设权重阈值的轨迹点权重对应的轨迹点作为显著轨迹点;

48、确定时间权重序列中显著轨迹点的周边轨迹点的轨迹点权重;

49、若显著轨迹点的轨迹点权重大于周边轨迹点的轨迹点权重,则将显著轨迹点作为轨迹关键点。

50、根据第二方面,或者以上第二方面的任意一种实现方式,信息输入装置还包括网络训练模块,用于:

51、获取轨迹样本信息,其中轨迹样本信息包括滑行轨迹样本以及滑行轨迹样本的标注关键点;

52、将滑行轨迹样本输入初始关键点提取网络,得到滑行轨迹样本对应的当前关键点;

53、根据当前关键点和标注关键点,计算得到初始关键点提取网络的损失函数值;

54、基于损失函数值对初始关键点提取网络进行参数调整,直至初始关键点提取网络收敛,得到预设关键点提取网络。

55、根据第二方面,或者以上第二方面的任意一种实现方式,词汇生成模块,还用于:

56、根据相邻的轨迹关键点的轨迹点坐标和按键坐标,计算得本文档来自技高网...

【技术保护点】

1.一种信息输入方法,其特征在于,所述信息输入方法包括以下步骤:

2.如权利要求1所述的信息输入方法,其特征在于,所述对所述空中滑行轨迹进行关键点提取,获得轨迹关键点的步骤,包括:

3.如权利要求2所述的信息输入方法,其特征在于,所述基于所述时间权重序列,对所述空中滑行轨迹中各轨迹点坐标进行筛选,得到轨迹关键点步骤,包括:

4.如权利要求2所述的信息输入方法,其特征在于,在所述将所述特征矩阵输入预设关键点提取网络,得到所述特征矩阵对应的时间权重序列的步骤之前,包括:

5.如权利要求1所述的信息输入方法,其特征在于,所述根据所述轨迹关键点和所述按键坐标,生成候选词汇的步骤,包括:

6.如权利要求1至5中任一项所述的信息输入方法,其特征在于,在所述获取用户针对目标虚拟键盘的空中滑行轨迹的步骤之前,包括:

7.如权利要求6所述的信息输入方法,其特征在于,所述在接收到用户的输入肢体针对所述目标虚拟键盘的轨迹起始操作后,识别出轨迹聚焦点的步骤,包括:

8.一种信息输入装置,其特征在于,所述信息输入装置包括:

9.一种扩展现实系统,其特征在于,所述扩展现实系统包括:头戴显示设备和轨迹采集设备;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有信息输入程序,所述信息输入程序被处理器执行时实现如权利要求1至7中任一项所述的信息输入方法的步骤。

...

【技术特征摘要】

1.一种信息输入方法,其特征在于,所述信息输入方法包括以下步骤:

2.如权利要求1所述的信息输入方法,其特征在于,所述对所述空中滑行轨迹进行关键点提取,获得轨迹关键点的步骤,包括:

3.如权利要求2所述的信息输入方法,其特征在于,所述基于所述时间权重序列,对所述空中滑行轨迹中各轨迹点坐标进行筛选,得到轨迹关键点步骤,包括:

4.如权利要求2所述的信息输入方法,其特征在于,在所述将所述特征矩阵输入预设关键点提取网络,得到所述特征矩阵对应的时间权重序列的步骤之前,包括:

5.如权利要求1所述的信息输入方法,其特征在于,所述根据所述轨迹关键点和所述按键坐标,生成候选词汇的步骤,包括:

【专利技术属性】
技术研发人员:邸顺然张一凡
申请(专利权)人:歌尔股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1