头戴式显示器上的夹捏和保持手势导航制造技术

技术编号:16976691 阅读:30 留言:0更新日期:2018-01-07 10:54
描述一种用于执行夹捏和保持手势的系统。所述系统包括头戴式显示器(HMD)和手套,所述手套由用户的手佩戴。所述手套的每个手指节段包括传感器,所述传感器用于在所述手移动手指节段时检测所述手指节段的位置。所述系统包括与所述HMD和所述手套介接的计算设备。所述计算设备分析来自所述手指节段的所述传感器的数据以便确定夹捏和保持手势由所述手指节段中的至少两个来执行。此外,所述计算设备产生传达到所述HMD的图像数据,以使得在所述HMD上渲染的场景得以修改以便渲染视觉提示,所述视觉提示指示所述夹捏和保持手势所关联的所述场景中的位置。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器上的夹捏和保持手势导航
本专利技术涉及通过采用夹捏和保持手势来导航在头戴式显示器上显示的场景的方法和系统。
技术介绍
目前的游戏系统为游戏玩家提供了各种刺激和交互。游戏系统包括控制台设备、手持式控制器和显示屏幕。游戏玩家将手持式控制器连接到控制台设备并且将控制台设备连接到显示屏幕。然后,游戏玩家从计算机网络将游戏下载到控制台设备,或者将光盘呈送到控制台设备的光盘插槽中,以进行游戏。在玩游戏期间,游戏玩家操作手持式控制器来玩游戏。举例来说,游戏玩家选择按钮或按钮的组合以便控制游戏内的化身或选择玩游戏的环境。然而,为了能够玩游戏,游戏玩家学习每个按钮如何控制化身的移动。此外,游戏玩家在玩游戏时使用手持控制器是不方便的。本专利技术的实施方案正是在这种情况下出现的。
技术实现思路
在本公开中描述的实施方案提供通过应用夹捏和保持手势来导航在头戴式显示器上显示的场景的方法和系统。在一个实施方案中,描述用于执行夹捏和保持手势的系统。系统包括由用户佩戴的头戴式显示器(HMD)。系统进一步包括佩戴在用户的手上的手套。手套具有用于手的每个手指的手指节段。每个手指节段包括传感器,所述传感器用于在手移动手指节段时检测手指节段的位置。系统包括用于捕获HMD的图像和手套的图像的一个或多个相机和连接到一个或多个相机并且与HMD和手套介接的计算设备。计算设备分析来自手指节段的传感器的数据以便确定夹捏和保持手势由手指节段中的至少两个来执行。此外,计算设备产生传达到HMD的图像数据,以使得在HMD上渲染的场景得以修改以便渲染视觉提示,所述视觉提示指示夹捏和保持手势所关联的场景中的位置。当夹捏和保持手势起作用时,计算设备将手套的移动与场景的移动相关联,以使得场景随着手套的所检测到的移动而移动。在实施方案中,描述将经由HMD来观看的场景的可观看部分加以平移的方法。方法包括捕获在真实空间中由用户佩戴的HMD的图像以便确定观看方向和观看方向的变化。方法进一步包括捕获用户的手的图像,从手的所捕获图像来跟踪用户的手,并且激活如经由HMD来观看的场景的锁定以使得所述锁定将场景相对于所跟踪手的位置来加以固定。在检测到由手来执行的夹捏和保持手势后,激活锁定。方法包括在锁定起作用时,响应于手的移动来启用场景的平移。平移启用超过场景的当前视图以外的视图。方法包括在检测到锁定不起作用时,停用平移。当不再检测到夹捏和保持手势时,锁定不起作用。在一个实施方案中,描述改变经由HMD来观看的场景的大小的方法。方法包括捕获在真实空间中由用户佩戴的HMD的图像以便确定观看方向和观看方向的变化。方法进一步包括捕获用户的手的图像,从所捕获图像来确定每只手执行夹捏和保持手势,并且将场景相对于所捕获图像指示正在执行夹捏和保持手势的场景中的位置固定。方法包括在场景固定时,响应于手之间的间距的相对变化来启用场景的大小的变化,并且当从所捕获图像中检测到手中的一个的夹捏和保持手势中的一个已经释放时,停用场景的大小的变化。本文所描述实施方案的一些优势包括使用夹捏和保持手势和/或额外手势来促进场景的控制。夹捏和保持手势和/或额外手势使用手或手套来执行。因此,不需要使用手持式控制器来执行夹捏和保持手势和/或额外手势。此外,使用手或手套来执行夹捏和保持手势和/或额外手势使得用户感觉好像他/她在执行与场景交互的自然手移动。自然手移动为用户提供沉浸感觉,例如好像他/她处在场景中并且在场景中执行动作。根据以下结合附图进行的举例说明本公开中所描述原理的详述,本公开中所描述的其他方面将变得明显。附图说明本公开的各种实施方案通过参考以下结合附图进行的描述来最好地理解,附图中:图1是示出根据本公开的一个实施方案的使用夹捏和保持手势的系统的图。图2A是示出根据本公开的一个实施方案的由用户执行的各种手势和手势对于在由用户佩戴的头戴式显示器(HMD)上显示的场景的效果的列表。图2B示出根据本公开的一个实施方案的使场景平移的滑动手势。图2C示出根据本公开的一个实施方案的使用一只手来执行以便使场景旋转的旋转手势。图2D示出根据本公开的一个实施方案的使用两只手来执行以便使场景旋转的旋转手势。图2E示出根据本公开的一个实施方案的使用两只手来执行以便使场景变焦拉近和变焦拉远的各种手势。图2F示出根据本公开的一个实施方案的使用两只手来执行以便使场景倾斜的各种手势。图3A是根据本公开的一个实施方案的示出夹捏和保持手势的方法的流程图。图3B是根据本公开的一个实施方案的根据由用户执行的手势来修改场景的方法的流程图。图4A是示出根据本公开的一个实施方案的使用相机来捕获用户的手的位置和取向以及使用相机来捕获HMD的位置和取向的系统的图。图4B是示出根据本公开的一个实施方案的使用无源手套以及图4A的相机来确定无源手套的手指节段的位置和取向的系统的图。图4C是根据本公开的一个实施方案的使用有源手套来确定有源手套的手指节段的位置的系统的图。图5是示出根据本公开的一个实施方案的使用HMD上的相机来确定用户的手相对于HMD的相对位置和相对取向的系统的图。图6是用于示出根据本公开的一个实施方案的由用户执行的各种手势的图。图7A是根据本公开的一个实施方案的由用户佩戴在他的/她的左手上的有源手套的实施方案的背面视图。图7B是示出根据本公开的一个实施方案的当手套的传导衬垫与手套的另一个传导衬垫接触时产生信号的图7A的手套的侧视图。图8是示出根据本公开的一个实施方案的在系统的各种设备之间传达数据以便在HMD上显示场景的系统的实施方案的图。图9是根据本公开的一个实施方案的HMD的等距视图。图10示出根据本公开的一个实施方案的用于视频游戏的交互性游戏玩法的系统。图11是根据在本公开中描述的实施方案的HMD的等距视图。图12示出根据本公开的一个实施方案的使用能够向由用户佩戴的HMD渲染视频游戏内容的客户端系统来玩游戏的一个实例。图13示出根据在本公开中描述的一个实施方案的在使用期间佩戴HMD的用户。图14是示出根据本公开中描述的一个实施方案的HMD的示例性部件的图。图15示出根据在本公开中描述的一个实施方案的信息服务提供商架构。具体实施方式描述通过应用夹捏和保持手势来导航在头戴式显示器(HMD)上显示的场景的系统和方法。应注意,本公开中描述的各种实施方案可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下,没有详细描述众所周知的处理操作,以避免不必要地混淆本公开中描述的各种实施方案。图1是示出使用夹捏和保持手势的系统100的实施方案的图。用户106将HMD102佩戴在他的/她的头上。举例来说,用户106佩戴HMD102来覆盖他的/她的两个眼睛。用户106执行夹捏手势,例如,使用他的/她的手130A来使他的/她的拇指与他的/她的其他手指中的一个或多个接触等,并且使用他的/她的另一只手130B来执行夹捏手势。手的一个或多个其他手指的实例包括食指、中指、无名指和小指。相机系统,例如,一个或多个数字相机、一个或多个红外相机、一个或多个深度相机等,捕获HMD102和用户106的手130A和130B的图像数据。举例来说,定位在用户106和HMD102所处的真实空间例如房间、真实世界环境、位置、仓库等中的相机捕获HMD102的观看方向和观看方向的任何变本文档来自技高网...
头戴式显示器上的夹捏和保持手势导航

【技术保护点】
一种系统,其包括:头戴式显示器(HMD),所述头戴式显示器被配置来由用户佩戴;手套,所述手套被配置来由所述用户的手佩戴,所述手套具有用于所述手的每个手指的手指节段,每个手指节段包括传感器,所述传感器用于在所述手移动所述手指节段时检测所述手指节段的位置;一个或多个相机,所述相机用于捕获所述HMD的图像和所述手套的图像;计算设备,所述计算设备连接到所述一个或多个相机并且与所述HMD和所述手套介接,其中所述计算设备被配置来分析来自所述手指节段的所述传感器的数据以便确定夹捏和保持手势由所述手指节段中的至少两个来执行,其中所述计算设备被配置来产生传达到所述HMD的图像数据,以使得在所述HMD上渲染的场景得以修改以便渲染视觉提示,所述视觉提示指示所述夹捏和保持手势所关联的所述场景中的位置,其中当所述夹捏和保持手势起作用时,所述计算设备被配置来将所述手套的移动与所述场景的移动相关联,以使得所述场景随着所述手套的所检测到的移动而移动。

【技术特征摘要】
【国外来华专利技术】2015.04.15 US 62/148,111;2016.03.15 US 15/071,1271.一种系统,其包括:头戴式显示器(HMD),所述头戴式显示器被配置来由用户佩戴;手套,所述手套被配置来由所述用户的手佩戴,所述手套具有用于所述手的每个手指的手指节段,每个手指节段包括传感器,所述传感器用于在所述手移动所述手指节段时检测所述手指节段的位置;一个或多个相机,所述相机用于捕获所述HMD的图像和所述手套的图像;计算设备,所述计算设备连接到所述一个或多个相机并且与所述HMD和所述手套介接,其中所述计算设备被配置来分析来自所述手指节段的所述传感器的数据以便确定夹捏和保持手势由所述手指节段中的至少两个来执行,其中所述计算设备被配置来产生传达到所述HMD的图像数据,以使得在所述HMD上渲染的场景得以修改以便渲染视觉提示,所述视觉提示指示所述夹捏和保持手势所关联的所述场景中的位置,其中当所述夹捏和保持手势起作用时,所述计算设备被配置来将所述手套的移动与所述场景的移动相关联,以使得所述场景随着所述手套的所检测到的移动而移动。2.如权利要求1所述的系统,其中所述计算设备被配置来在确定所述夹捏和保持手势得以停用时将所述手套的所述移动与所述场景的所述移动之间的所述关联予以释放。3.如权利要求1所述的系统,其中所述计算设备被配置来在所述夹捏和保持手势起作用的时间段期间忽略所述HMD的移动对于所述场景的所述移动的效应。4.如权利要求1所述的系统,其中所述计算设备被配置来在所述夹捏和保持手势起作用时确定是否所述手套执行旋转手势,其中所述计算设备被配置来响应于确定所述旋转手势得以执行,发送用于旋转所述场景的数据。5.如权利要求1所述的系统,其中所述计算设备被配置来在所述夹捏和保持手势起作用时确定是否所述手套执行滑动手势,其中所述计算设备被配置来响应于确定所述滑动手势得以执行,发送用于平移所述场景的数据,所述场景的所述平移渲染所述场景的未显示部分,所述部分在所述平移运动发生之前未在所述HMD上渲染。6.如权利要求1所述的系统,其中在所述夹捏和保持手势起作用时,所述计算设备被配置来忽略所述用户的头部的移动,从而避免根据所述头部的所述移动来改变所述场景。7.如权利要求1所述的系统,其中所述计算设备被配置来从所述手套的所述图像来确定所述手指节段中的每一个的位置,其中所述计算设备被配置来从所述手指节段的所述位置来确定所述至少两个手指节段中的一个的一部分与所述至少两个手指节段中的另一个的一部分接触,从而确定所述夹捏和保持手势由所述至少两个手指节段执行。8.如权利要求1所述的系统,其中所述计算设备被配置来发送用于在所述场景中显示所述用户的所述手的图像的数据,其中在所述手的所述图像执行所述夹捏和保持手势的所述场景中的所述位置处产生所述视觉提示。9.一种使经由头戴式显示器(HMD)来观看的场景的可观看部分得以平移的方法,所述方法包括:捕获被配置来在真实空间中由用户佩戴的所述HMD的图像以便确定观看方向和所述观看方向的变化;捕获所述用户的手的图像;从所述手的所述捕获图像来跟踪所述用户的所述手;激活经由所述HMD来观看的所述场景的锁定,以使得所述锁定将所述场景相对于所跟踪所述手的位置来加以固定,所述锁定在检测到由所述手执行的夹捏和保持手势后得以激活;在所述锁定起作用时,响应于所述手的移动来启用所述场景的平移,所述平移启用超过所述场景的当前视图以外的视图;在检测到所述锁定不起作用时,停用所述平移,当不再检测到所述夹捏和保持手势时,所述锁定不起作用。10.如权利要求9所述的方法,其进一步包括:从所述HMD的所述捕获图像来跟踪所述HMD;和在检测到所述锁定不起作用时并且在跟踪所述HMD的移动时,启用所述场...

【专利技术属性】
技术研发人员:RL马克斯JR斯塔福德
申请(专利权)人:索尼互动娱乐股份有限公司
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1