具有自触觉虚拟键盘的人工现实系统技术方案

技术编号:31502617 阅读:30 留言:0更新日期:2021-12-22 23:23
描述了一种人工现实系统,其在人工现实环境中渲染、呈现和控制用户界面元素,并响应于检测到的用户的一个或更多个手势来执行动作。人工现实系统捕获表示物理环境的图像数据,渲染人工现实内容和作为对人工现实内容的叠加的具有多个虚拟键的虚拟键盘,并输出人工现实内容和虚拟键盘。人工现实系统从图像数据中识别包括手的第一手指与手的第二手指接触的手势,其中接触点对应于虚拟键盘的多个虚拟键中的第一虚拟键的位置。人工现实系统响应于所识别的手势来处理对第一虚拟键的选择。别的手势来处理对第一虚拟键的选择。别的手势来处理对第一虚拟键的选择。

【技术实现步骤摘要】
【国外来华专利技术】具有自触觉虚拟键盘的人工现实系统
[0001]相关申请的交叉引用
[0002]本申请要求2019年6月7日提交的美国申请第16/435,133号的优先权,该申请的内容通过引用以其整体并入本文以用于全部目的。


[0003]本公开总体上涉及人工现实系统,例如虚拟现实、混合现实和/或增强现实系统,更具体地,涉及人工现实系统的用户界面。
[0004]背景
[0005]人工现实系统正变得越来越普遍,应用于许多领域,诸如计算机游戏、健康和安全、工业和教育。作为几个示例,人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常,人工现实是在呈现给用户之前已经以某种方式调整的现实的形式,其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
[0006]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例,人工现实系统可合并头戴式显示器(HMD),该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统,包括:图像捕获设备,其被配置为捕获代表物理环境的图像数据;头戴式显示器(HMD),其被配置为输出人工现实内容;渲染引擎,其被配置为渲染具有多个虚拟键的虚拟键盘作为对所述人工现实内容的叠加;手势检测器,其被配置为从所述图像数据中识别包括手的第一手指和所述手的第二手指的运动以形成捏构形的手势,其中,当处于所述捏构形时,所述第一手指和所述第二手指之间的接触点对应于所述虚拟键盘的所述多个虚拟键中的第一虚拟键的位置;和用户界面引擎,其被配置为响应于所识别的手势来处理对所述第一虚拟键的选择。2.根据权利要求1所述的人工现实系统,其中,所述手势还包括所述捏构形的释放。3.根据权利要求2所述的人工现实系统,其中,所述捏构形包括所述手被定位成使得在释放所述捏构形之前所述手的第一手指与所述手的第二手指接触至少阈值时间段的构形。4.根据权利要求1所述的人工现实系统,其中,所述手势检测器还被配置成:在识别所述手势之前:从所述图像数据中识别所述手的第一手指相对于所述虚拟键盘的位置;从所述图像数据中识别所述手的第二手指相对于所述虚拟键盘的位置;计算从所述手的第一手指的位置到所述手的第二手指的位置的选择向量;和确定所述选择向量和所述虚拟键盘的交叉点,其中,如果所述第一手指和所述第二手指形成所述捏构形,则所述交叉点对应于预测的接触点。5.根据权利要求4所述的人工现实系统,其中,在识别所述手势时,所述接触点包括当所述第一手指和所述第二手指处于所述捏构形时所述选择向量与所述虚拟键盘的所述多个虚拟键中的第一虚拟键的交叉点。6.根据权利要求4所述的人工现实系统,其中,所述渲染引擎还被配置为渲染以下中的一个或更多个:所述选择向量的指示、所述交叉点的指示、或者如果所述第一手指和所述第二手指形成所述捏构形所述多个虚拟键中的将被选择的虚拟键的指示。7.根据权利要求1所述的人工现实系统,其中,所述手包括第一只手,其中,所述手势包括第一手势,并且其中,当所述第一手指和所述第二手指处于所述捏构形时:所述手势检测器还被配置为从所述图像数据中识别包括第二只手的第一手指和所述第二只手的第二手指的第二运动以形成第二捏构形的第二手势,其中,当处于所述捏构形时,所述第二只手的第一手指和所述第二只手的第二手指之间的接触点对应于所述虚拟键盘的所述多个虚拟键中的第二虚拟键的位置;和所述用户界面引擎被配置为响应于同时识别到所述第一手势和所述第二手势,接收对所述第一虚拟键和所述第二虚拟键的组合选择。8.根据权利要求1所述的人工现实系统,其中,所述虚拟键盘包括QWERTY键盘的虚拟表示。9.根据权利要求8所述的人工现实系统,其中,所述QWERTY键盘的虚拟表示包括连续QWERTY键盘的表示或分离QWERTY键盘的两半的表示之一,其中所述分离QWERTY键盘的第一半与第一只手相关联,并且所述分离QWERTY键盘的第二半与第二只手相关联。10.根据权利要求1所述的人工现实系统,其中,所述渲染引擎还被配置为响应于所识
别的手势来渲染对所述第一虚拟键的选择的指示。11.根据权利要求1所述的人工现实系统,其中,所述图像捕获设备集成在所...

【专利技术属性】
技术研发人员:乔纳森
申请(专利权)人:脸谱科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1