具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统技术方案

增强现实系统包括左透明目镜和右透明目镜，用户可以通过左透明目镜和右透明目镜观看真实世界，并且左透明目镜和右透明目镜用于将按图像调制的光耦合到用户的眼睛中以便显示混合现实体验的虚拟内容组件。该系统还包括左扬声器和右扬声器以及用于虚拟对象的用户空间操纵的设备。该系统产生空间化音频，该空间化音频具有固定到由用户在空间上操纵的一个或多个虚拟对象的虚拟声源位置。因此，该系统提供了混合现实体验的虚拟组件的更真实的视觉和听觉呈现。

Augmented reality system with spatialized audio associated with user manipulated virtual objects

The augmented reality system includes a left transparent eyepiece and a right transparent eyepiece. The user can view the real world through the left transparent eyepiece and the right transparent eyepiece, and the left transparent eyepiece and the right transparent eyepiece are used to couple the light modulated by the image into the user's eyes so as to display the virtual content components of the mixed reality. The system also includes left and right loudspeakers and user space manipulation devices for virtual objects. The system generates spatial audio, which has a virtual sound source location fixed to one or more virtual objects manipulated by users in space. Therefore, the system provides a more realistic visual and auditory presentation of virtual components of mixed reality experience.

【技术实现步骤摘要】
【国外来华专利技术】具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统优先权声明本专利申请要求2007年3月28日提交的美国临时专利申请No.62/477,976的优先权。
本专利技术涉及增强现实系统。
技术介绍
显示技术发展的重要步骤包括：在个人计算机和移动装置中实现的魔术灯、基于电影的运动图片、电视和现代数字视频显示技术。最近已推出虚拟现实头带。这种虚拟现实头带包括位于用户眼睛附近和前方的一对显示器以及介于显示器与用户眼睛之间的透镜，以允许用户聚焦在显示器上。当使用这种虚拟现实头带时，用户完全沉浸在虚拟世界中并且基本上与真实世界隔绝。长期使用虚拟现实系统会引起“虚拟现实疾病”，这可能是由于虚拟环境感觉的真实性存在缺陷。例如，经由前庭系统接收的依赖于用户在真实世界中的动态的感觉刺激可能与虚拟世界中的运动的感觉刺激相冲突。据信人类感知系统高度适合(attune)于整合不同的、视觉的、听觉的、触觉的、味觉的、嗅觉的和前庭的刺激，并且矛盾的感觉导致感觉不一致，这可能导致人类生理系统过渡到低功能(虚拟现实疾病)状态抑制在致病(causative)活动中的进一步参与。期望提供虚拟内容的呈现，其实现在虚拟内容是真实的情况下将获得的对感觉感知的更高逼真度。
技术实现思路
本文公开的主题的一个方面包括提供增强现实系统，该增强显示系统包括头带，头带包括左眼显示器和右眼显示器，左眼显示器包括左透明目镜，右眼显示器包括右透明目镜。透明目镜用于将虚拟内容的图像耦合到用户的视场中，同时允许用户看到真实世界并在真实世界中是接地的(例如，具有被定向的和平衡的舒适感觉)。头带还包括左扬声器和右扬声器。该系统还包括手持控制器。跟踪子系统也包括在系统中，该跟踪子系统允许相对于头带的手持控制器的相对平移偏移和取向。该系统还包括耦接到左眼显示器、右眼显示器、左扬声器、右扬声器和跟踪系统的至少一个处理器。至少一个处理器可以包括在头带、手持控制器和/或单独的单元中。该至少一个处理器操作包括至少头带和手持控制器的系统。第一类型虚拟对象的左和右立体图像分别通过左透明目镜和右透明目镜投影。在某些情况下，左和右显示器可以被配置为允许基于到虚拟对象的距离来改变到达用户眼睛的光的波前曲率。由左和右显示器提供的波前曲率可以被量化，使得有限数量的值是可用的或可以是连续可变的。第一类型虚拟对象相对于手持控制器维持基本固定。由于虚拟对象固定到手持控制器，因此通过移动手持控制器，用户可以移动第一类型虚拟对象，并且通过透明目镜看到第一类型虚拟对象相对于真实世界移动。第一类型虚拟对象发出声音。声音从虚拟对象占据的空间中的点发出。发出声音的空间中的点在用户通过手持控制器的设备的控制下与虚拟对象一起移动。当空间中的点移动时，用于空间中的点相对于用户头部的坐标的适当的头部相关传递函数(HRTF)用于处理由对象发出的声音，并且HRTF的立体声输出通过左右扬声器输出。以这种方式，用户听到基本上真实空间化的声音，以便听起来好像从用户已将虚拟对象移动到的位置发出的声音。在上述方面的替代方案中，不使用手持控制器。然而，跟踪用户的手部和空间化的发声虚拟对象的包括相机的(增强现实系统的)机器视觉子系统至少暂时固定到用户的手部。增强现实系统还可以被配置为识别指示虚拟对象与用户的手部解耦合的某些姿势(例如，投掷动作)。在这种解耦合之后，将继续从虚拟对象的移动位置发出空间化音频。本文公开的主题的附加方面涉及第二类型虚拟对象，该第二类型虚拟对象的运动被固定到真实世界环境的惯性运动限定，其中增强现实系统的用户位于该真实世界环境中。用于第二类型虚拟对象的空间化声音具有由第二类型虚拟对象占据的虚拟源点。第二类型虚拟对象可以在一些强加的预编程质量的情况下例如遵循牛顿运动定律。对于特殊应用，除了质量之外，还可以为对象分配电荷或磁偶极矩，使得该对象可以与具有电荷或磁偶极矩的附加真实或虚拟对象适当地交互。用户可以经由系统中实现的手部姿势识别机构使用他或她的手部与第二类型虚拟对象交互。例如，用户可以利用系统被编程来识别的预先设置的手部姿势来推或拿第二虚拟对象。通过推第二类型虚拟对象，用户可以将速度赋予给第二虚拟对象，然后其将根据牛顿定律而继续，并且可以随后经历用户的进一步操纵和/或与其他虚拟对象或真实对象交互。例如，虚拟对象可以是虚拟球，并且用户可以使用虚拟球和真实墙来玩手球游戏。真实墙可以是也包括墙的虚拟表示的混合现实对象的一部分。虚拟球可以发出“嗖”的声音，该声音对应于通过空气高速移动的对象的声音。嗖的声音被空间化并且具有由虚拟球占据的虚拟声源。当虚拟球从包括真实墙组件及其相关联的虚拟墙表示组件的增强现实墙反弹时，可以发出具有由虚拟球占据的虚拟源位置的第二空间化反弹声音。当第二类型虚拟对象处于运动中时，为了保持其相对于固定到用户环境的惯性参考系的运动(例如，根据牛顿第一定律)，即使在与头带一起用户旋转他/她的头部的情况下，必须跟踪用户头部的运动，并且必须执行通过目镜显示的第二类型虚拟对象的图像的更改，以便补偿用户头部的运动。更改的性质有进一步的解释。更改图像以维持在连接到本地环境(包括惯性参考系内的任何预期运动)的惯性参考系中限定的第二类型虚拟对象的坐标，该本地环境不受头带与用户头部的旋转的影响。附图说明附图示出了本专利技术的优选实施例的设计和实用性，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本专利技术的上述和其他优点和目的，将通过参考其特定实施例来呈现上面简要描述的本专利技术的更具体的描述，其在附图中示出。应理解，这些附图仅描绘了本专利技术的典型实施例，因此不应认为是对其范围的限制，将通过使用附图借助附加特征和细节来描述和解释本专利技术，其中：图1示出了根据本专利技术的实施例的增强现实系统；图2是位于用户的头部上的图1所示系统的可穿戴头带的顶视图；图3是图2-3中所示的可穿戴头带的前视图；图4是从右目镜的顶部观看到的边缘和图1-3中所示的增强现实头带的按图像调制的光的右源的示意表示。图5是根据本专利技术的实施例的图1-3中所示的系统的框图；图6示出了根据本专利技术的实施例的电磁跟踪系统的某些组件，其包括可用于跟踪图1-5中所示的系统中的相对坐标的接收侧组的三个正交螺线管以及发射侧组的三个正交螺线管；图7是根据本专利技术的实施例的操作图1-6中所示的系统的方法的流程图；图8是生成可以在图7和图14中所示的方法中使用的空间化音频的方法的流程图；图9是根据本专利技术的实施例的使用光学传感器来收集环境信息的方法的流程图，该环境信息用于增强与虚拟内容相关联的音频信号的真实性；图10是根据本专利技术的实施例的使用已通过图9所示的方法收集的环境信息生成图7和图14中所示的方法中的空间化音频的方法的流程图；图11-12示出了使用上面参考图1-10描述的系统并且体验被模拟为从用户正在使用诸如图1中所示的控制器操纵的第一虚拟对象发出的空间化音频的用户；图13示出了使用上面参考图1-10描述的系统并且体验从用户正在使用诸如图1中所示的控本文档来自技高网...

【技术保护点】
1.一种增强现实系统，包括：/n手持控制器；/n可穿戴头带单元，包括：/n左眼显示器，其用于显示虚拟对象的左眼图像，所述左眼显示器包括左侧透光目镜，通过所述左侧透光目镜，真实世界环境是可见的；/n右眼显示器，其用于显示所述虚拟对象的右眼图像，所述右眼显示器包括右侧透光目镜，通过所述右侧透光目镜，所述真实世界环境是可见的；/n左侧扬声器；以及/n右侧扬声器；/n第一跟踪组件，其被配置为至少跟踪所述手持控制器相对于所述可穿戴头带单元的位置；/n耦接到所述左眼显示器、所述右眼显示器、所述左侧扬声器、所述右侧扬声器和所述第一跟踪组件的电路，其中所述电路被配置为：/n接收至少指示所述手持控制器相对于所述可穿戴头带单元的所述位置的信号；/n输出信号到所述左眼显示器和所述右眼显示器，以在相对于所述手持控制器基本固定的位置显示虚拟对象；/n输出空间化音频，所述空间化音频包括输出到所述左扬声器的左声道音频信号和输出到所述右扬声器的右扬声器音频信号，其中所述空间化音频具有相对于所述手持控制器基本固定的至少一个虚拟声源位置。/n

【技术特征摘要】
【国外来华专利技术】20170328 US 62/477,9761.一种增强现实系统，包括：
手持控制器；
可穿戴头带单元，包括：
左眼显示器，其用于显示虚拟对象的左眼图像，所述左眼显示器包括左侧透光目镜，通过所述左侧透光目镜，真实世界环境是可见的；
右眼显示器，其用于显示所述虚拟对象的右眼图像，所述右眼显示器包括右侧透光目镜，通过所述右侧透光目镜，所述真实世界环境是可见的；
左侧扬声器；以及
右侧扬声器；
第一跟踪组件，其被配置为至少跟踪所述手持控制器相对于所述可穿戴头带单元的位置；
耦接到所述左眼显示器、所述右眼显示器、所述左侧扬声器、所述右侧扬声器和所述第一跟踪组件的电路，其中所述电路被配置为：
接收至少指示所述手持控制器相对于所述可穿戴头带单元的所述位置的信号；
输出信号到所述左眼显示器和所述右眼显示器，以在相对于所述手持控制器基本固定的位置显示虚拟对象；
输出空间化音频，所述空间化音频包括输出到所述左扬声器的左声道音频信号和输出到所述右扬声器的右扬声器音频信号，其中所述空间化音频具有相对于所述手持控制器基本固定的至少一个虚拟声源位置。


2.根据权利要求1所述的增强现实系统，其中：
在输出具有相对于所述手持控制器基本固定的至少一个虚拟声源位置的空间化音频时，所述电路被配置为输出具有基本上固定到由所述虚拟对象占据的位置的至少一个虚拟声源位置的空间化音频。


3.根据权利要求2所述的增强现实系统，其中，由所述虚拟对象占据的所述位置从所述手持控制器移位。


4.根据权利要求1所述的增强现实系统，其中，所述跟踪组件还被配置为跟踪所述手持控制器相对于可穿戴头带单元的取向，并且其中所述电路被配置为接收指示所述手持控制器相对于所述可穿戴头带的所述取向的信号。


5.根据权利要求4所述的增强现实系统，其中，由所述虚拟对象占据的所述位置从所述手持控制器移位。


6.根据权利要求1所述的增强现实系统，其中，所述电路被配置为通过使用至少一个头部相关传递函数处理单音频信号来生成所述左侧音频信号和所述右侧音频信号。


7.根据权利要求1所述的增强现实系统，还包括：
第二跟踪组件，其被配置为跟踪所述可穿戴头带单元相对于所述真实世界的位置和取向；以及
其中所述电路耦接到所述第二跟踪组件，并且其中所述电路还被配置为接收指示所述可穿戴头带单元相对于所述真实世界的所述位置和取向的信号。


8.一种增强现实系统，包括：
可穿戴头带单元，包括：
左眼显示器，其用于显示虚拟对象的左眼图像，所述左眼显示器包括左侧透光目镜，通过所述左侧透光目镜，真实世界环境是...

【专利技术属性】
技术研发人员：B·夏普斯，M·A·麦考尔，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US