公开了一种用于将来自用户的物理输入转换为虚拟现实或增强现实环境中的动作的系统和方法。具体实施例包括：从图像捕获子系统中接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；接收该图像捕获子系统的位置和方位数据，所述位置和方位数据表示该参考数据的另一部分；当物理输入被应用至该跟踪子系统时，通过数据处理器的使用，测量相对于该参考数据的空间关系的改变；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
【技术实现步骤摘要】
优先权专利申请这是要求于2015年2月10日提交的序列号为第62/114,417号的共同未决美国临时专利申请的优先权的非临时专利申请。本非临时专利申请要求所引用的临时专利申请的优先权。所引用专利申请的整个公开被当作本申请的公开的一部分并因此通过引用整体结合在此。
本公开一般地涉及虚拟现实系统和方法。更具体地，本公开涉及用于将来自用户的物理输入转换为虚拟现实或增强现实环境中的动作的系统和方法。
技术介绍
随着消费电子产品的激增，可穿戴技术被重新聚焦，其包括例如结合增强现实(AR)或虚拟现实(VR)技术的可穿戴计算机或装置的创新。AR和VR技术两者都涉及为消费者提供体验内容的全新方式的计算机生成的环境。在增强现实中，计算机生成的环境叠加在现实世界上(例如，在谷歌眼镜(Google Glass)TM中)。相反，在虚拟现实中，用户沉浸在该计算机生成的环境中(例如，通过虚拟现实耳机例如Oculus RiftTM)。然而，现有的AR和VR装置具有一些缺点。例如，AR装置通常被限制于显示信息，并且可以不具备检测真实世界物理输入(例如用户的手势或运动)的能力。另一方面，VR装置通常是笨重的且需要连接至电源的电线。具体地，所述线会约束用户的移动性，并且给用户的虚拟现实体验带来负面影响。
技术实现思路
示例实施例至少解决了在现有增强现实和虚拟现实装置中的上述缺点。在各种示例实施例中，公开了利用移动装置进行虚拟现实和增强现实控制的 系统和方法。具体地，示例实施例公开了用于将来自用户的物理输入转换为增强现实或虚拟现实环境中的动作的便携式无绳光输入系统和方法，其中该系统也能进行现实生活化身(avatar)控制。根据示例实施例的示例系统包括跟踪装置、用户装置、图像捕获装置和耦接至该用户装置和该图像捕获装置的数据转换器。在一个具体实施例中，该图像捕获装置获得跟踪装置上的第一标记和第二标记的图像。该数据转换器利用所获得的图像确定在时间t0处该第一标记和该第二标记的参考位置，且测量在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变，其中该改变由该跟踪装置上的用户输入生成。该时间t1是晚于时间t0的时间点。该数据转换器还确定在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则在用户装置上生成虚拟世界中的动作。在一些实施例中，该图像捕获装置可被配置为获得跟踪装置上的多个标记的参考图像，且基于所获得的图像跟踪所述装置。在这里描述的其他实施例中，我们将参考图像或多个参考图像定义为可用于确定空间关系的改变的更广参考数据集的一部分或一份。在示例实施例中，该参考数据可包括：1)来自多个标记的使用的数据，所述标记的一个或多个是参考图像(例如，参考数据的一部分)；2)来自一个标记的使用的数据，所述标记的图像在多个时刻被采样，所述图像样本的一个或多个是参考图像(例如，该参考数据的另一部分)；3)图像捕获装置的位置/方位数据(例如，该参考数据的另一部分)，空间关系的改变与该图像捕获装置的位置/方位数据相关；以及4)跟踪装置的位置/方位数据(例如，该参考数据的另一部分)，空间关系的改变与跟踪装置的位置/方位数据相关。鉴于这里的公开，对本领域技术人员来说将显而易见的是，该参考数据可包括可用于确定空间关系的改变的其他数据分量。在一些实施例中，基于该标记的可观察存在，可生成虚拟世界中的动作。在那些实施例中，在时间t0和t1之间的个别标记的消失和/或重现会导致在虚拟世界中生成的特定动作。根据示例实施例的方法的实施例包括在跟踪装置上获得第一标记和第二标记的图像，利用所获得的图像确定在时间t0处该第一标记和该第二标记的参考位置，测量在时间t1处该第一标记和该第二标记两者/之间的空间关 系的改变，由此该改变由在该跟踪装置上的用户输入生成，确定在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变是否落入阈值范围内，并且如果该空间关系的改变落入预定的阈值范围内，则在该用户装置上生成虚拟世界中的动作。结合通过示例说明示例实施例的原理的附图，从下面的详细描述中，示例实施例的其他方面和优点将是显而易见的。附图说明为了更好地理解这些示例实施例，应当结合附图参考下面的详细描述，其中：图1图示了与示例实施例一致的示例系统的框图。图2、3、4、5、6、7、8和9图示了根据不同实施例的用户装置。图10、11和12描绘了根据实施例的跟踪装置的不同透视图。图13图示了其装配前的示例索具(rig)的平面图。图14和15图示了用于图10、11和12的第一标记和第二标记的示例图案。图16、17和18图示了用户对示例系统的操作。图19和20图示了虚拟世界中生成的示例动作，这些动作对应于来自用户的不同物理输入。图21、22、23、24和25图示了在示例跟踪装置上可用的物理输入的空间范围。图26和27图示了其中使用单个图像捕获装置的示例系统。图28图示了图27的图像捕获装置的视场。图29图示了当调节透镜附接至图27和28的图像捕获装置时、视场的增加。图30、31和32图示了其中多个用户在相同虚拟世界中连接的示例系统。图33、34、35、36、37、38和39图示了根据不同实施例在虚拟世界中生成的示例动作。图40图示了使用一个标记在虚拟世界中跟踪用户的手的示例系统。图41描绘了在各种实施例中的标记的多种配置。图42图示了具有利用加速度计或计步器实现的角色导航的示例实施例。图43和44描绘了光学标记附接至游戏控制器的实施例。图45描绘了其中方向控制按钮和动作按钮集成至跟踪装置上的实施例。图46是图示了用于将来自用户的物理输入转换至虚拟世界中的动作的示例方法的流程图。图47是图示了如这里描述的方法的示例实施例的处理流程图；以及图48示出了按照移动计算和/或通信系统的示例形式的机器的图解表示，其中指令集被执行时和/或处理逻辑被激活时可促使该机器执行这里描述和/或要求保护的方法的任意一个或多个。具体实施方式现在将对附图中图示的示例实施例进行详细参考。只要可能，将贯穿附图使用相同的附图标记来指示相同或相似的部分。这里公开的方法和系统解决了上述需求。例如，这里公开的方法和系统能将来自用户的物理输入转换为虚拟世界中的动作。该方法和系统能在低功率移动装置和/或3D显示装置上实现。该方法和系统也能使能现实生活化身控制。该虚拟世界可包括提供给该用户的视觉环境，且可以基于增强现实或虚拟现实。在一个实施例中，提供了用于移动装置的无绳便携式输入系统。用户可使用该系统来：(1)输入精确和高分辨率的位置和方位数据；(2)用真实的一对一反馈调用(invoke)模拟动作(例如，脚踏或抓取)；(3)使用多个交互模式以执行虚拟世界中的多个任务或控制现实生活化身(例如，机器人)；和/或(4)基于虚拟世界中的动作接收触觉反馈。该系统是轻量级的且低成本的，且因此作为便携式虚拟现实系统是理想的。该系统也能用作多用户环境例如剧场中的可再循环的用户装置。该系统采用具有多个图像标记的跟踪装置作为输入机构。这些标记能利用移动装置上的摄像头跟踪，以获得虚拟现实世界中的指针的位置和方位数据。该系统能用在各种领域包括游戏、医疗、建筑或本文档来自技高网...
【技术保护点】
一种设备，包括：处理器；图像捕获子系统；跟踪子系统，包括至少一个参考图像；以及数据转换子系统，与该处理器和该图像捕获子系统进行数据通信，该数据转换子系统用以：从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；接收该图像捕获子系统的位置和方位数据，该位置和方位数据表示该参考数据的另一部分；当物理输入被应用至该跟踪子系统时，测量相对于该参考数据的空间关系的改变；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
【技术特征摘要】
2015.02.10 US 62/114,417;2015.06.20 US 14/745,4141.一种设备，包括：处理器；图像捕获子系统；跟踪子系统，包括至少一个参考图像；以及数据转换子系统，与该处理器和该图像捕获子系统进行数据通信，该数据转换子系统用以：从图像捕获子系统接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；接收该图像捕获子系统的位置和方位数据，该位置和方位数据表示该参考数据的另一部分；当物理输入被应用至该跟踪子系统时，测量相对于该参考数据的空间关系的改变；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。2.如权利要求1所述的设备，其中该数据转换子系统被进一步配置以确定空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则生成虚拟世界中的动作。3.如权利要求1所述的设备，其中该跟踪子系统包括一个或多个标记，该数据转换子系统被进一步配置以当物理输入被应用至该跟踪子系统时，测量相对于所述一个或多个标记的空间关系的改变。4.如权利要求1所述的设备，其中被应用至该跟踪子系统的物理输入是该跟踪子系统的一部分的旋转或平移。5.如权利要求1所述的设备，其中被应用至该跟踪子系统的物理输入是该跟踪子系统自身的旋转或平移。6.如权利要求1所述的设备，其中所述空间关系的改变是在二维空间或三维空间中测量的。7.如权利要求1所述的设备，其中该图像捕获子系统包括多个图像捕获装置，且该数据转换子系统被进一步配置以从多个图像捕获装置的每个中接收图像数据，并同步从所述多个图像捕获装置所接收的图像数据。8.如权利要求1所述的设备，其中该虚拟世界中的动作是虚拟对象的移动或操纵、或虚拟用户接口的操纵。9.如权利要求1所述的设备，其中该虚拟世界中的动作对应于真实世界装置的控制。10.如权利要求1所述的设备，其中该参考数据包括来自用户装置的加速计数据。11...
【专利技术属性】
技术研发人员：李方炜，
申请(专利权)人：李方炜，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。