在增强或虚拟现实环境中选择对象制造技术

技术编号:18049402 阅读:25 留言:0更新日期:2018-05-26 07:41
提供了一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法,所述环境通过显示设备(4)显示给用户(2),其中所述方法包括向多个对象(8、10、12、14、16、18、20)中的每个对象分配手势路径,所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。

【技术实现步骤摘要】
在增强或虚拟现实环境中选择对象
本专利技术总体涉及人机交互领域。更具体地说,本专利技术针对与包括真实对象和/或虚拟对象的增强或虚拟现实环境中的对象的用户交互。因此,本专利技术涉及一种在环境中选择对象的方法和相应的选择设备。本专利技术还涉及实现本专利技术的选择方法的计算机程序。
技术介绍
本部分中描述的内容可能在进行,但不一定是之前已经构思或进行的内容。因此,除非在本文中另行指示,否则在本部分中所描述的内容不是本申请权利要求的现有技术,并且不因包含在本部分中而被承认为现有技术。与诸如计算机、智能电话和平板电脑等多媒体设备的常见用户交互通常依赖于用户输入,如键盘事件、鼠标事件以及诸如捏合、缩放、触摸等屏幕触摸事件。其他交互也正变得很普遍,如语音命令和手势命令,它们经常用作间接触发,因为通常需要分析相关背景以引起用户期望的动作。这种背景通常可以与用户当前使用的特定应用有关并有可能受到所述特定应用的限制。在这种情况下,所考虑的背景例如包括用户所做的最近查询或上次打开的菜单。背景还可以包括直接用户环境,诸如用户在房间中的物理位置以及房间中存在的物品,因为用户可以通过他的肉眼或者使用透视设备或头戴式显示器(HMD)来感知这些信息。图1中示出了包括直接用户环境中的真实对象的背景的示例。在图1的示例中,配备有头戴式显示器4的用户2可以与位于房间6中的大量真实对象进行交互。例如,这些对象包括放置在桌子7上的对象,例如,摄像机8和报纸10。此外,在诸如改变现实或虚拟现实应用之类的一些情况下,背景可以包括来自用户周围的真实和/或虚拟对象。在图2中示出了这种背景的示例。改变现实意味着增强现实(也称为混合现实)情况(即,场景中存在真实对象加上一些虚拟对象)以及改变(例如,在尺寸、颜色、存在或位置方面)用户直接看到或通过使用诸如透视眼镜等设备看到的真实对象的情况。在图2的示例中,配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与位于房间6中的虚拟对象交互。例如,虚拟对象包括地球仪12、游戏柄14、均衡器16、角色18和齿轮20。这些虚拟对象可以与头戴式显示器4中的应用相关。例如,虚拟对象可以用作可用应用的化身,或可以被激活以触发一些相关应用程序的元素的化身,例如,用于游戏开启的游戏柄14。在用户的直接环境中存在多个真实和/或虚拟对象的情况下,用户可能需要具体指示他打算与之交互的对象。这种对对象的选择需要非常准确,以避免由于选择错误对象而误解用户意图。在常见游戏中,这种互动的触发一次限于几个对象。对象的数量通常与玩家使用的游戏柄的按钮数量相关联。一些游戏(例如PlayStation3和PlayStation4游戏机中的HeavyRainMoveEdition)在游戏场景中使用特定控制设备和精细调整布局的对象。文献US2013/0328925描述了一种用于在混合现实环境中解释用户关注虚拟对象的系统。该系统包括耦接到一个或多个处理单元的透视头戴式显示设备。与该头戴式显示单元协作的处理单元可以向用户显示一个或多个虚拟对象,也称为全息对象。用户可以与所显示的虚拟对象进行交互。通过使用推理、表达手势和启发式规则,该系统确定用户可能关注且与之交互的虚拟对象。此时,系统可以相比于其他虚拟对象强调所选的虚拟对象,并以各种方式与所选的虚拟对象进行交互。在该文献中,通过确定用户头部或眼睛或手相对于虚拟对象的位置或者通过确定用户的手相对于虚拟对象的移动,来选择用户想要与之交互的对象。现有技术解决方案的一个问题在于在紧密相邻的成组对象的情况下不能精确地管理对象选择。此外,现有的解决方案不能准确地处理从用户视角部分或全部交迭的真实和/或虚拟对象。图3示出了包含多个虚拟对象的现实增强场景的示例。这种场景不易通过现有的系统来管理。图3场景中存在的对象与图2场景中存在的对象相同,其中相机8非常接近报纸10从而相机8部分覆盖报纸10。例如,在对象如此接近或甚至部分或完全地遮挡的情况下,用户2如何能够例如通过移动他/她的手22来方便地触发与图3场景中的特定对象(诸如,桌子7上的摄像机8或报纸10)的一些交互?
技术实现思路
本专利技术提出用于改进该情况的解决方案。因此,本专利技术提供了一种在包括多个真实和/或虚拟对象的环境中选择对象的方法,所述环境通过显示设备显示给用户,其中所述方法包括向多个对象中的每个对象分配手势路径,所述手势路径包括要由用户执行以选择该对象的一系列手势。因此,通过分配唯一区分环境中每个对象的手势路径,可以选择任何对象,即使从用户的视角该对象被另一个对象部分或完全覆盖。根据一个实施例,所述方法包括:将每个对象的手势路径显示为叠加在该对象上或该对象附近的标签。例如,对于从用户的视角可见的对象,标签具有叠加在该对象上的半透明覆盖纹理。对于用户从他的视角看不到的对象,标签放置在该对象附近以便可见。备选地,以半透明纹理显示遮挡对象,且标签叠加在该对象上,使得它本身是半可见的。有利地,以根据手势方向进行指向的箭头形式显示手势路径的每个手势。根据一个实施例,所述方法包括:-检测用户执行的手势;-显示为选择对象仍然要执行的手势路径的其余手势。因此,用户在每个手势之后知道为选择每个对象仍然要执行的其余手势。根据第一实施例,所述方法包括:-检测对象,其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应;-放弃检测到的对象。优选地,通过在检测到的对象上叠加叉形标签来放弃检测到的对象,这些对象变成用户不可选择的。根据第二实施例,所述方法包括:-检测对象,其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应;-改变检测到的对象的其余手势,其中,环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。因此,根据第二实施例,即使用户错误地执行与用户想要选择的目标对象的手势路径不对应的手势,由于相应手势路径被动态地改变,所以仍然可以选择该对象。有利地,当分配给对象的手势路径已完全完成时,选择该对象。根据一个实施例,手势是手部手势。这是有利的,因为手部手势的方向易于检测。有利地,手势路径的分配考虑用户的舒适度。例如,在确定为了选择对象而要完成的手势时,考虑用户物理手部限制。本专利技术还提供了一种用于在包括多个真实和/或虚拟对象的环境中选择对象的选择设备,所述环境通过显示器显示给用户,其中所述选择设备包括配置为向多个对象中的每个对象分配手势路径的分配模块,所述手势路径包括要由用户执行以选择该对象的一系列手势。根据一个实施例,分配模块被配置为:-检测对象,其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应;-改变检测到的对象的其余手势,其中,环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。根据一个实施例,选择设备包括被配置为分析环境并检测环境中的多个对象的环境分析模块。有利地,环境分析模块被配置为检测从用户的视角被部分或完全遮挡的对象。根据一个实施例,选择设备包括被配置为分析由用户完成的手势的手势分析模块。根据本专利技术的方法可以实现为可编程装置上的软件。可以单独地用硬件或软件或其组合方式来实现该方法。由于本专利技术可实现为软件,所以本专利技术可实现为计算机可读代码,用于在任意合适载体介质上提供给可编程装置。载体介质可以包括本文档来自技高网
...
在增强或虚拟现实环境中选择对象

【技术保护点】
一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法,所述环境通过显示设备(4)显示给用户(2),其中所述方法包括向所述多个对象(8、10、12、14、16、18、20)中的每个对象分配(36)手势路径,所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。

【技术特征摘要】
2016.11.16 EP 16306497.51.一种在包括多个真实和/或虚拟对象(8、10、12、14、16、18、20)的环境中选择对象的方法,所述环境通过显示设备(4)显示给用户(2),其中所述方法包括向所述多个对象(8、10、12、14、16、18、20)中的每个对象分配(36)手势路径,所述手势路径包括要由用户(2)执行以选择该对象的一系列手势。2.根据权利要求1所述的方法,包括:将每个对象的手势路径显示(36)为叠加在该对象上或该对象附近的标签。3.根据权利要求1或2所述的方法,其中,以根据手势方向进行指向的箭头形式显示手势路径的每个手势。4.根据权利要求1至3中的任一项所述的方法,包括:-检测(38)用户(2)执行的手势;-显示为选择对象仍然要执行的手势路径的其余手势。5.根据权利要求1至4中的任一项所述的方法,包括:-检测对象,其中检测到的用户(2)手势与针对所述对象待完成的其余手势中的第一手势不相对应;-放弃检测到的对象。6.根据权利要求1至4中的任一项所述的方法,包括:-检测对象,其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应;-改变(40)检测到的对象的其余手势,其中,所述环境的每个对象的其余手势不同于所述环境的任何其他对象的其余手势。7.根据权利要求1到6中的任一项所述的方法,其中,当分配给对象的手势路径已完全完成时,选择(42)该对象。8.根据权利要求1到7中的任一...

【专利技术属性】
技术研发人员:樊尚·阿洛姆皮埃雷克·茹埃马蒂·弗雷德蒂
申请(专利权)人:汤姆逊许可公司
类型:发明
国别省市:法国,FR

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1