System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于人机界面上的多模式输入和编辑的系统和方法技术方案_技高网

用于人机界面上的多模式输入和编辑的系统和方法技术方案

技术编号:41123593 阅读:2 留言:0更新日期:2024-04-30 17:50
一种虚拟现实设备,该虚拟现实设备包括:显示器,被配置为输出与虚拟现实设备的用户界面相关的信息;麦克风,被配置为在激活语音识别会话时从用户接收一个或多个口头单词命令;眼睛注视传感器,被配置为跟踪用户的眼睛运动;和处理器,被编程为:响应于第一输入,输出文本字段的一个或多个单词,响应于用户的眼睛注视超过阈值时间,强调文本字段的一个或多个单词的组;利用输入接口仅在该组的多个单词之间进行切换;响应于第二输入,突出显示并编辑来自该组的已编辑单词;而且响应于利用与该组相关联的上下文信息和语言模型,输出一个或多个所建议的单词。

【技术实现步骤摘要】

本公开涉及一种人机界面(hmi),该人机界面包括用于增强现实(ar)或虚拟现实(vr)环境的hmi。


技术介绍

1、在虚拟和/或增强现实应用中(例如,在ar头盔或智能眼镜上实现的那些应用),允许用户输入一个或多个语句是一项理想的功能,该能够可以实现各种级别的人机交互,例如发送消息或虚拟助手对话。与常见的消息应用程序(apps)和alexa等语音助手相比,在增强现实环境中,包括文本、语音、眼睛注视、手势和环境语义在内的多种模式可以潜在地联合应用于语句输入以及文本编辑(例如,校正/编辑先前输入语句中的一个或多个单词),以便达到最高的输入效率。将这些模式集成的最佳方式可能因不同的使用场景而异,因此一种模式对于一个输入任务来说可能不是有效的,但是对于另一输入任务来说可能是有效的。

2、对于文本输入任务,已经探索了各种模式,例如用一根或多根手指在虚拟键盘上进行按键触摸、在虚拟键盘上进行手指滑动、使用虚拟键盘进行基于眼睛注视的按键选择以及语音。然而,对于那些先前的系统中的每一个,通常仅涉及一种主要模式作为输入方法,忽略了用户在不同使用场景下的各种需求(例如,用户可能不愿意在公共场合发言以键入具有私人或机密内容的文本)。此外,尽管虚拟键盘和基于语音的文本输入都可能在输入结果中产生错误,但是在以前的虚拟/增强现实应用中,允许用户校正/更改在所输入的文本语句中的某个或某些单词的文本编辑功能通常非常有限,甚至不存在。


技术实现思路

1、第一实施例公开了一种虚拟现实设备,该虚拟现实设备包括:显示器,被配置为输出与虚拟现实设备的用户界面相关的信息;麦克风,被配置为在激活语音识别会话时从用户接收一个或多个口头单词命令;眼睛注视传感器,该眼睛注视传感器包括相机,其中眼睛注视传感器被配置为跟踪用户的眼睛运动;以及与显示器和麦克风通信的处理器,其中处理器被编程为:响应于来自用户界面的输入接口的第一输入,输出用户界面的文本字段的一个或多个单词;响应于用户的眼睛注视超过阈值时间,强调与该眼睛注视相关联的文本字段的一个或多个单词的组;利用输入接口仅在该组的多个单词之间进行切换;响应于来自用户界面的与该切换相关联的第二输入,突出显示并编辑来自该组的已编辑单词;而且响应于利用与一个或多个单词的该组相关联的上下文信息和语言模型,输出与来自该组的已编辑单词相关联的一个或多个所建议的单词。

2、第二实施例公开了一种包括用户界面的系统,该系统包括与显示器和输入接口通信的处理器,该输入接口包括多种输入模式,该处理器被编程为:响应于来自输入接口的第一输入,输出用户界面的文本字段的一个或多个单词;响应于超过阈值时间的选择,强调与该选择相关联的文本字段的一个或多个单词的组;利用输入接口在该组的多个单词之间进行切换;响应于来自用户界面的与该切换相关联的第二输入,突出显示并编辑来自该组的已编辑单词;响应于利用与一个或多个单词的该组相关联的上下文信息和语言模型,输出与来自该组的已编辑单词相关联的一个或多个所建议的单词;而且响应于第三输入,选择并输出所述一个或多个所建议的单词之一以替换该已编辑单词。

3、第三实施例公开了一种用户界面,该用户界面包括文本字段部分和建议字段部分,其中建议字段部分被配置为:响应于与用户界面相关联的上下文信息来显示所建议的单词。该用户界面被配置为:响应于来自输入接口的第一输入,输出用户界面的文本字段的一个或多个单词;响应于超过阈值时间的选择,强调与该选择相关联的文本字段的一个或多个单词的组;利用输入接口在该组的多个单词之间进行切换;响应于来自用户界面的与该切换相关联的第二输入,突出显示并编辑来自该组的已编辑单词;响应于利用与一个或多个单词的该组相关联的上下文信息和语言模型,在建议字段部分处输出一个或多个所建议的单词,其中所述一个或多个所建议的单词与来自该组的已编辑单词相关联;而且响应于第三输入,选择并输出所述一个或多个所建议的单词之一以替换该已编辑单词。

本文档来自技高网...

【技术保护点】

1.一种虚拟现实设备,所述虚拟现实设备包括:

2.根据权利要求1所述的虚拟现实设备,其中,所述处理器还被编程为:输出弹出窗口,所述弹出窗口包括保存所选择的所建议的单词以与所述语言模型一起使用的选项。

3.根据权利要求2所述的虚拟现实设备,其中,响应于对第一选项的选择,在所述语言模型处保存所选择的所建议的单词,并且响应于对第二选项的选择,在所述语言模型处忽略所选择的所建议的单词。

4.根据权利要求1所述的虚拟现实设备,其中,所述编辑包括选择一个或多个所建议的单词。

5.根据权利要求1所述的虚拟现实设备,其中,所述第一输入和所述第二输入不是相同的输入接口。

6.根据权利要求1所述的虚拟现实设备,其中,所述第二输入是超过与所述一个或多个单词相关联的第二阈值时间的突出显示。

7.根据权利要求1所述的虚拟现实设备,其中,所述第一输入是语音识别输入并且所述第二输入是手动控制器输入。

8.根据权利要求1所述的多媒体系统,其中,所述切换是利用眼睛注视来完成的。

9.一种包括用户界面的系统,所述系统包括

10.根据权利要求9所述的系统,其中,所述选择包括眼睛注视。

11.根据权利要求9所述的系统,其中,所述处理器还被编程为:输出弹出窗口,所述弹出窗口指示将所建议的单词添加到所述语言模型的选项。

12.根据权利要求9所述的系统,其中,所述处理器还被编程为:利用所述输入接口,允许手动输入手动建议的单词以替换所述已编辑单词。

13.一种用户界面,所述用户界面包括:

14.根据权利要求13所述的用户界面,其中,一个或多个单词的所述组包括语句。

15.根据权利要求13所述的用户界面,其中,所述输入接口包括多种输入模式。

16.根据权利要求13所述的用户界面,所述第二输入是超过与所述一个或多个单词相关联的第二阈值时间的突出显示。

17.根据权利要求13所述的虚拟现实设备,其中,所述第一输入是语音输入,并且所述第二输入是眼睛注视。

18.根据权利要求13所述的用户界面,其中,所述界面被编程为:利用所述输入接口,允许手动输入手动建议的单词以替换所述已编辑单词。

19.根据权利要求18所述的用户界面,其中,所述界面被编程为:输出弹出窗口,所述弹出窗口指示将手动建议的单词添加到所述语言模型的选项。

20.根据权利要求13所述的用户界面,其中,在所述组的多个单词之间进行切换利用了眼睛注视。

...

【技术特征摘要】

1.一种虚拟现实设备,所述虚拟现实设备包括:

2.根据权利要求1所述的虚拟现实设备,其中,所述处理器还被编程为:输出弹出窗口,所述弹出窗口包括保存所选择的所建议的单词以与所述语言模型一起使用的选项。

3.根据权利要求2所述的虚拟现实设备,其中,响应于对第一选项的选择,在所述语言模型处保存所选择的所建议的单词,并且响应于对第二选项的选择,在所述语言模型处忽略所选择的所建议的单词。

4.根据权利要求1所述的虚拟现实设备,其中,所述编辑包括选择一个或多个所建议的单词。

5.根据权利要求1所述的虚拟现实设备,其中,所述第一输入和所述第二输入不是相同的输入接口。

6.根据权利要求1所述的虚拟现实设备,其中,所述第二输入是超过与所述一个或多个单词相关联的第二阈值时间的突出显示。

7.根据权利要求1所述的虚拟现实设备,其中,所述第一输入是语音识别输入并且所述第二输入是手动控制器输入。

8.根据权利要求1所述的多媒体系统,其中,所述切换是利用眼睛注视来完成的。

9.一种包括用户界面的系统,所述系统包括:

10.根据权利要求9所述的系统,其中,所述选择包括眼睛注视。

11.根据权利要求9所述...

【专利技术属性】
技术研发人员:周正宇郭嘉婧N·田N·费弗尔W·马
申请(专利权)人:罗伯特·博世有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1