用于产生虚拟和增强现实的方法和系统技术方案

本申请涉及一种用于产生虚拟和增强现实的方法和系统。本申请公开了用于向用户呈现虚拟现实和增强现实体验的配置。系统可包括捕捉一或多个图像的图像捕捉装置，一或多个图像对应于头戴式增强现实装置的用户的视场，以及处理器，其通信地耦合到图像捕捉装置以从所述图像集合中提取一组映射点，以从所提取的该组映射点中识别一组稀疏点和一组密集点，以及对该组映射点执行归一化。组映射点执行归一化。组映射点执行归一化。

【技术实现步骤摘要】
用于产生虚拟和增强现实的方法和系统
[0001]本申请是申请日为2015年06月13日、申请号为202011106449.8、标题为“用于产生虚拟和增强现实的方法和系统”的专利申请的分案申请。

技术介绍

[0002]现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以它们似乎是或者可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而不对其它现实真实世界视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为在用户周围的现实世界的可视化的增强。例如，增强现实场景可允许AR技术的用户可看到被叠加在现实世界对象上或在现实世界对象之中的一或多个虚拟对象(例如，以背景中的人、树木、建筑物为特征的现实世界公园状环境，等等)。
[0003]人类视觉感知系统是非常复杂的，并且产生促进虚拟图像元素在其它虚拟或真实世界图像元素中的舒适的、自然感觉的、丰富的呈现的VR或AR技术是具有挑战性的。传统的立体可佩戴式眼镜通常具有两个显示器，其被配置为显示具有稍微不同的元素呈现的图像，使得人类视觉系统感知到三维透视。已经发现此类配置对于许多用户是不舒服的，这是由于可被克服以在三维中感知图像的聚散度(vergence)和适应性之间的不匹配。实际上，一些用户不能忍受立体配置。
[0004]尽管几种光学配置(例如，头戴式眼镜)是可用的(例如，Occulus等等)，但是这些配置中没有一个最适合于以对用户将是舒适的并且最有用的方式呈现丰富的双眼、三维增强现实体验，部分是因为现有系统无法解决人类感知系统的一些基本方面，包括视网膜的光感受器及其与大脑的互操作以向用户产生可视化的感知。
[0005]人眼是非常复杂的器官，并且通常包括角膜、虹膜、晶状体、黄斑、视网膜和到大脑的视神经通路。黄斑是视网膜的中心，其用于看到适度的细节。在黄斑的中心为视网膜的一部分，其被称为“中央凹”，其用于观察场景的最细微的细节，并且比视网膜的任何其它的部分包含更多的光感受器(每视觉度大约120个视锥)。
[0006]人类视觉系统不是无源传感器类型的系统；它主动扫描环境。以某种程度类似于使用平板扫描器捕捉图像或使用手指从纸张上读取盲文的方式，眼睛的光感受器响应于刺激的变化而激发，而不是恒定地响应恒定状态的刺激。因此，需要运动来向大脑呈现光感受器信息。
[0007]事实上，使用已经用于使眼睛肌肉麻痹的物质(例如眼镜蛇毒)的实验已经表明，如果眼睛睁得大大的，用毒液引起麻痹的眼睛观看静态场景，人类受试者就会失明。换句话说，没有刺激的变化，光感受器不向大脑提供输入并且经历失明。据信，这是已经观察到的正常人的眼睛在左右移动(也称为“微跳视”(microsaccade))中来回移动或抖动的至少一个原因。
[0008]如上所述，视网膜的中央凹包含最大密度的光感受器。虽然人们通常认为人类在
整个视场中具有高分辨率可视化能力，但实际上，人类只有几乎不变地机械扫描的小的高分辨率中心，以及通过中央凹最近捕捉的高分辨率信息的持久记忆。以某种程度类似的方式，眼睛的焦距控制机构(例如，以下面的方式可操作地耦合到晶状体的睫状肌，其中，睫状肌松弛引起张紧的睫状连接纤维，使晶状体变平以用于更远的焦距；睫状肌收缩引起松驰的睫状连接纤维，其允许晶状体呈现更圆的几何形状以用于更近的焦距)以大约1/4至1/2屈光度前后抖动，以在目标焦距的近侧和远侧循环诱发少量的“屈光模糊”。这被大脑的适应控制电路用作循环负反馈，其帮助不断地校正方向并保持被注视对象的视网膜图像近似对焦。
[0009]大脑的可视化中心还从两只眼睛及其部件相对于彼此的运动获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(例如，瞳孔朝向彼此或远离彼此滚动运动以使眼睛的视线会聚以固定在对象上)与眼睛的晶状体的聚焦(或“适应”)紧密相关。在正常情况下，在被称为“适应
‑
聚散反射”的关系下，改变眼睛的晶状体的焦距或调节眼睛以聚焦不同距离处的对象将自动引起聚散度到相同距离的匹配变化。同样，在正常条件下，聚散度的变化将触发适应性的匹配变化。已知违背这种反射(如大多数常规立体AR或VR配置的情况)会在用户中产生眼疲劳、头痛或其它形式的不适。
[0010]容纳眼睛的头部的运动也对对象的可视化具有关键的影响。人类倾向于移动他们的头部以对他们周围的世界可视化，并且通常相对于感兴趣的对象处于重新定位和重定向头部的相当恒定的状态。此外，当他们的眼睛注视需要移动以偏离中心超过约20度以聚焦于特定对象时，大多数人喜欢移动他们的头部(例如，人们通常不喜欢“从眼角”看东西)。人类还通常相对于声音扫描或移动他们的头部，以改善音频信号捕捉并利用耳朵相对于头部的几何形状。人类视觉系统从所谓的“头部运动视差”获得强大的深度提示，其与作为头部运动和眼睛聚散距离的函数的不同距离处的对象的相对运动相关。换句话说，如果人将他的头从一侧移动到另一侧并保持固定在对象上，则远离该对象的物项将沿与头部相同的方向移动，并且该对象前面的物项将与头部运动相反地移动。这些可为对象相对于人在环境中空间位置非常显著的提示。当然，头部运动也被用来环顾对象。
[0011]此外，头部和眼睛运动与“前庭眼反射”协调，其在头部旋转期间相对于视网膜稳定图像信息，从而保持对象图像信息大致位于视网膜的中心。响应于头部旋转，眼睛在相反方向上反射地和成比例地旋转，以保持稳定固定在对象上。作为这种补偿关系的结果，许多人能够在来回摇晃头部的同时读书。有趣的是，如果书以相同的速度来回摇动而头部大致静止，则通常不是这样――人不太可能能够阅读移动的书。前庭眼反射为头部和眼睛运动协调中的一种，并且通常不被发展用于手运动。这种范例对于AR系统可能是重要的，因为用户的头部运动可与眼睛运动相对直接地关联，并且理想的系统优选地将准备好与该关系一起工作。
[0012]实际上，给定这些各种关系，当放置数字内容(例如，3
‑
D内容，诸如被呈现以增强房间的真实世界视图的虚拟枝形吊灯对象；或2
‑
D内容，诸如被呈现以增强房间的真实世界视图的平面/平坦虚拟油画对象)时，可以进行设计选择以控制对象的行为。例如，2
‑
D油画对象可以头部为中心，在此情况下，对象随着用户的头部一起移动(例如，如在方法中)。在另一示例中，对象可为以世界为中心的，在此情况下，它可被呈现为好像它是真实世界坐标系的一部分，使得用户可移动他的头部或眼睛，而不移动对
象相对于现实世界的位置。
[0013]因此，当将虚拟内容放置到用AR系统呈现的增强现实世界中时，做出关于该对象是否应该被呈现为以世界为中心、以身体为中心、以头部为中心或以眼睛为中心的选择。在以头部为中心的方法中，虚拟对象驻留在真实世界中的位置，使得用户可围绕它移动他的身体、头部、眼睛而不改变其相对于围绕它的真实世界对象(诸如真实世界墙壁)的位置。在以身体为中心的方法中，虚拟元素可相对于用户的躯干是固定的，使得用户可以移动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实显示系统，包括：用于捕捉至少一个图像的所述增强现实显示系统的图像捕捉装置，其中所述图像捕捉装置包括一个或多个图像捕捉传感器，所述至少一个图像的至少一部分在用户的视场内被感知，并且所述至少一个图像捕捉由所述用户产生的并且与由所述增强现实显示系统向所述用户投射的虚拟内容交互的至少一个姿势；以及处理器，其不通过中间元件而直接耦合到所述图像捕捉装置或者通过一个或多个中间元件间接耦合到所述图像捕捉装置，以将所述至少一个姿势识别为至少一个识别的姿势，所述处理器被配置为将所述至少一个姿势识别为所述至少一个识别的姿势进一步配置为：辨识多个候选姿势以及用于所述至少一个姿势的姿势识别的多个计算资源利用或开销需求；至少通过用一条或多条线或线段对所述至少一个图像进行线搜索来确定所述至少一个图像是否包括一个或多个可辨识的深度点；至少部分地基于所述多个计算资源利用或开销需求，确定执行多个分析节点以相对于所述多个候选姿势对所述至少一个姿势进行相应的姿势辨识过程的处理顺序；在所述处理顺序的一个或多个较早阶段期间，至少通过执行所述相应的姿势辨识过程中的一个或多个第一姿势辨识过程，从所述多个候选姿势中生成一个或多个缩减的候选姿势集合，其中，所述一个或多个第一姿势辨识过程至少部分地基于所述多个计算资源利用或开销需求中的第一计算资源利用或开销需求用第一分析节点分析所述至少一个图像，以从所述多个候选姿势中去除一个或多个候选姿势；在所述处理顺序中的一个或多个后续阶段期间，至少通过至少部分地基于所述一个或多个缩减的候选姿势集合用对应于第二计算开销标准资源或花销需求的第二分析节点分析所述至少一个图像并且至少通过对所述至少一个姿势和所述一个或多个缩减的候选姿势集合执行一个或多个第二姿势辨识过程来将所述一个或多个缩减的候选姿势集合中的所述至少一个姿势确定并识别为至少一个识别的姿势，其中所述一个或多个第二姿势辨识过程比所述一个或多个第一姿势辨识过程消耗更大量的处理功...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：