用图像投影的虚拟交互制造技术

提供了涉及在虚拟环境中提供低等待时间交互的实施例。在一个实施例中，接收(350)手部(74)的初始图像以及表示(76)初始实际位置的初始深度信息。该初始图像被投影到虚拟环境(38)中的初始虚拟位置(78)。提供该初始图像(71)的分割版本(80)以供显示(312)在虚拟环境(308)中的初始虚拟位置(78)。接收手部的后续图像(82)以及表示后续实际位置(370)的深度信息(84)。后续图像(82)被投影到虚拟环境(308)中的后续虚拟位置(86)。提供后续图像(82)的分割版本(92)以供显示在该后续虚拟位置(86)。检测手部的三维表示与虚拟或物理对象之间的触碰。

【技术实现步骤摘要】
【国外来华专利技术】背景在一些虚拟现实和混合现实显示系统中，在虚拟环境中模拟类似触摸的沉浸式交互可能是合乎需要的。例如，用户可能想要以与她在物理世界中处置虚拟对象类似的方式用她的手部运动来操纵这一对象。然而，启用这一沉浸式且自然的类似触摸的交互已被证明是有挑战性的。启用与虚拟对象的交互的先前尝试包括使用用户手部的符号或呈现表示。然而，这些方法通常利用可能向体验增加显著等待时间的精确的手部跟踪。另外，在此类直接物理-虚拟交互中，交互手“直接”被用户诸如经由透明的头戴式显示器/虚拟现实系统看到。此类系统通常包括显著的虚拟显示等待时间，因为用户直接看到手的时间对应于虚拟系统的处理刚刚开始。因此，在这些系统中，显示器帧率(例如，每秒帧数)由于所经历的交互等待时间而不可避免地低于下界。查看用户手部的符号或呈现表示还造成不直观且自然的体验。姿势识别系统通常还利用精确的手部和手指跟踪，并且受限于用户被迫学习的符号姿势“语言”。捕捉和使用用户手部的轮廓一般涉及用户朝着捕捉设备和显示屏举起他的手以及在该举起位置执行移动。在这些系统中，相机位置(例如，前传感器)在向上举手(朝着传感器)时通常只能捕捉到内手掌。这一位置在较长时段内可能是无聊且不舒适的。此外，用户的手部可能遮挡用户对正在操纵的对象的查看。另外，捕捉到的用户手掌的内侧的图像通常被呈现为用户手部的相对外侧的彩色轮廓或阴影。这样操纵的手部表示还造成感知到较不直观且间接的交互体验。r>这种内手掌轮廓呈现的另一缺点在手改变离传感器的距离(例如，在向显示器/传感器伸手时，手移动靠近虚拟对象且远离用户)时出现。在此情形中，轮廓的大小相应地改变(例如，由于移动靠近传感器而变得更大)。然而，对于用户而言，这样的改变就轮廓将如何自然地改变以逼真地模拟外手掌的轮廓而言是违反直觉的(例如，它将在它移动远离人时变得更小)。以此方式，此类基于轮廓的系统提供较不真实的手部图像呈现。概述本文公开了涉及在虚拟环境中提供低等待时间交互的各实施例。例如，所公开的一个实施例提供了一种方法，该方法包括接收用户手部的背面的初始图像以及表示该手部的初始实际位置的对应的初始深度信息。使用该初始深度信息，将初始图像投影到虚拟环境中的初始虚拟位置，该初始虚拟位置对应于初始实际位置。向显示设备提供该初始图像的分割版本以供显示在虚拟环境中的初始虚拟位置。该方法包括接收用户手部的背面的后续图像以及表示与初始实际位置不同的手部的后续实际位置的对应的后续深度信息。使用该后续深度信息，将后续图像投影到虚拟环境中的后续虚拟位置，该后续虚拟位置对应于后续实际位置。向显示设备提供该后续图像的分割版本以供显示在虚拟环境中的后续虚拟位置。该方法然后包括检测手部的三维表示与虚拟环境中的虚拟对象之间的触碰。提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图简述图1是根据本公开的一实施例的接口系统和显示设备的示意图。图2示出根据本公开的一实施例的示例头戴式显示设备。图3是根据本公开的一实施例的用户经由接口系统与显示设备上所显示的示例虚拟环境交互的示意图。图4是根据本公开的一实施例的用户穿戴头戴式显示设备并经由接口系统与示例虚拟环境交互的示意图。图5是图4的用户的示意性俯视图。图6是根据本公开的一实施例的由接口系统生成的用户手部的两个分割版本的示意图。图7是如经由显示设备看到的混合现实环境形式的虚拟环境的示意图。图8A、8B和8C是根据本公开的一实施例的用于在虚拟环境中提供低等待时间交互的方法的流程图。图9是计算系统的一实施例的简化示意图解。详细描述图1示出了接口系统10的一个实施例的示意图。接口系统10包括可被存储在计算设备22的大容量存储18中的接口程序14。接口程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。混合现实显示程序34可生成包括至少一个虚拟对象42的虚拟环境38。这一虚拟环境38可被提供给显示设备，诸如头戴式显示器(HMD)设备46。如以下更详细地解释的，HMD设备46可创建以下形式的虚拟环境：包括用户52可经由HMD设备看到的一个或多个虚拟对象42和物理对象50的混合现实环境48。换言之，混合现实环境48可包括用户52可经由HMD设备看到的虚拟环境38和物理环境。如以下更详细地解释的，在一些示例中，混合现实环境48可包括虚拟环境38，其中用户52无法看到虚拟对象并且其中用户可看到一个或多个物理对象50以及用户手部的三维表示。也将认识到也可以在公开的范围内使用利用各种显示技术并具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括但不限于：固定位置监视器、诸如智能电话、平板计算机和上网本计算机等移动设备、投影显示设备、二维显示器、三维(3D)显示器以及其他合适类型的显示设备。计算设备22可采用以下形式：台式计算机，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图9更详细地描述。计算设备22可使用有线连接来与HMD设备46可操作地连接，或可采用通过WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与HMD设备46分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备46中。现在还参考图2，提供了一副具有透明显示器58的可配戴眼镜200形式的HMD设备的示例。将明白，在其他示例中，HMD设备46可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备46可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。参考图1和2，在这一示例中，HMD设备46包括显示系统54和使图像能够被递送到用户的眼睛的透明显示器58。透明显示器58可被配置成向透过该透明显示器查看物理环境的用户在视觉上增强该物理环境的外观。例如，物理环境的外观可以由经由透明本文档来自技高网...

【技术保护点】
一种用于在虚拟环境中提供低等待时间交互的接口系统，所述接口系统包括：由计算设备的处理器执行的接口程序，所述接口程序被配置成：接收用户手部的背面的初始图像以及表示所述手部的初始实际位置的对应的初始深度信息；使用所述初始深度信息，将所述初始图像投影到所述虚拟环境中的初始虚拟位置，所述初始虚拟位置对应于所述初始实际位置；向显示设备提供所述初始图像的分割版本以供显示在所述虚拟环境中的所述初始虚拟位置；接收所述用户手部的背面的后续图像以及表示与所述初始实际位置不同的所述手部的后续实际位置的对应的后续深度信息；使用所述后续深度信息，将所述后续图像投影到所述虚拟环境中的后续虚拟位置，所述后续虚拟位置对应于所述后续实际位置；向所述显示设备提供所述后续图像的分割版本以供显示在所述虚拟环境中的所述后续虚拟位置；以及检测所述手部的三维表示与所述虚拟环境中的虚拟对象或物理对象之间的触碰。

【技术特征摘要】
【国外来华专利技术】2013.01.21 US 13/746,2261.一种用于在虚拟环境中提供低等待时间交互的接口系统，所述接口系统
包括：
由计算设备的处理器执行的接口程序，所述接口程序被配置成：
接收用户手部的背面的初始图像以及表示所述手部的初始实际位置的对
应的初始深度信息；
使用所述初始深度信息，将所述初始图像投影到所述虚拟环境中的初始虚
拟位置，所述初始虚拟位置对应于所述初始实际位置；
向显示设备提供所述初始图像的分割版本以供显示在所述虚拟环境中的
所述初始虚拟位置；
接收所述用户手部的背面的后续图像以及表示与所述初始实际位置不同
的所述手部的后续实际位置的对应的后续深度信息；
使用所述后续深度信息，将所述后续图像投影到所述虚拟环境中的后续虚
拟位置，所述后续虚拟位置对应于所述后续实际位置；
向所述显示设备提供所述后续图像的分割版本以供显示在所述虚拟环境
中的所述后续虚拟位置；以及
检测所述手部的三维表示与所述虚拟环境中的虚拟对象或物理对象之间
的触碰。
2.如权利要求1所述的接口系统，其特征在于，所述接口程序被配置成将
所述初始图像的分割版本和所述后续图像的分割版本提供给所述显示设备以
供以其中所述手部在所述虚拟环境中大致向上伸展的虚拟定向显示，而不管所
述用户手部的所述初始实际位置和所述后续实际位置。
3.如权利要求1所述的接口系统，其特征在于，所述接口程序被进一步配
置成从具有捕捉所述用户手部的背面的视野的捕捉设备接收所述用户手部的
背面的初始图像。
4.如权利要求3所述的接口系统，其特征在于：
所述初始实际位置与所述捕捉设备隔开初始实际距离，且所述后续实际位
置与所述捕捉设备隔开不同于所述初始实际距离的后续实际距离；并且
所述初始虚拟位置与所述虚拟对象或所述物理对象隔开虚拟距离，且所述
后续虚拟位置与所述虚拟对象或所述物理对象...

【专利技术属性】
技术研发人员：R·贝内特，A·阿哈罗尼，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US