混合现实装置中的虚拟和真实对象记录制造方法及图纸

一种用于终端用户使用的虚拟图像生成系统包括：存储器；显示子系统；对象选择装置，其被配置为接收来自终端用户的输入并且响应于终端用户输入持续不断地选择至少一个对象的；以及控制子系统，其被配置为渲染三维场景的多个图像帧、将图像帧传送到显示子系统、生成源自至少一个选择的对象的音频数据、以及将音频数据存储在存储器中。

Virtual and real object recording in hybrid reality device

【技术实现步骤摘要】
【国外来华专利技术】混合现实装置中的虚拟和真实对象记录
本专利技术一般地涉及虚拟现实和增强现实系统。
技术介绍
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的混合现实系统的开发，其中数字再现图像或其部分以它们看起来是真实的或者可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现数字或虚拟图像信息而对实际的真实世界视觉输入不透明。增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息作为对用户周围的实际世界的可视化的增强(即，对其他实际真实世界视觉输入是透明的)。因此，AR场景涉及对其他实际真实世界视觉输入透明的数字或虚拟图像信息的呈现。例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树、背景中的建筑物和具体的平台8为特征的真实世界公园式设置6。除了这些项之外，AR技术的终端用户还感知到他“看到”站在真实世界平台8上的机器人雕像10以及类似卡通的化身角色12，该类似卡通的化身角色看起来是大黄蜂的拟人化，尽管这些元素10、12在真实世界中不存在。事实上，人类视觉感知系统非常复杂，并且产生促进除了其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适、自然感觉、丰富呈现的VR或AR技术是具有挑战性的。VR和AR系统通常采用头戴式显示器(或头盔式显示器或智能眼镜)，其至少松散地耦接到用户的头部，并由此在终端用户的头部移动时移动。如果显示系统检测到终端用户的头部运动，则可以更新正在显示的数据以考虑头部姿势(即，用户头部的取向和/或位置)的变化。能够实现AR(即，同时观看虚拟和真实对象)的头戴式显示器可以具有几种不同类型的配置。在一种这样的配置中，通常被称为“视频透视”显示器，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，以及非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明的)元件以直接观看来自环境中的真实对象的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在终端用户对真实世界的视图上。通常，VR/AR系统的用户可能想要通过在VR/AR系统上记录和保存体验用于随后的在线发布，来与其他人分享他或她的体验(例如，在玩游戏、电话会议或观看电影时)。然而，由于嘈杂的环境而导致在记录中通常可能存在噪声和其他不想要的或意外的声音或者可能存在太多的声源，这会导致对体验而分心。这种不想要的/意外的声音可能来自真实对象，例如，来自在VR/AR系统附近玩耍的儿童，或者来自虚拟对象，例如，来自在VR/AR系统环境中重播的虚拟电视。因此，仍然需要提供一种简单且有效的装置，用于仅记录来自用户感兴趣的虚拟或真实对象的声音。
技术实现思路
根据本专利技术的第一方面，一种用于终端用户使用的虚拟图像生成系统包括存储器、显示子系统和对象选择装置，该对象选择装置被配置为接收来自终端用户的输入并且响应于终端用户输入持续不断地选择至少一个对象(例如，真实对象和/或虚拟对象)。在一个实施例中，显示子系统具有视场，以及对象选择装置被配置为持续不断地选择视场中的对象。在这种情况下，对象选择装置可以被配置为在显示子系统的视场中移动三维光标并且响应于接收到终端用户输入而选择对象。在另一实施例中，终端用户输入包括一个或多个语音命令，并且其中对象选择装置包括被配置为感测语音命令的一个或多个麦克风。在又一实施例中，终端用户输入包括一个或多个手部姿势，在这种情况下，对象选择装置可以包括被配置为感测手部姿势的一个或多个相机。在选择多个对象的情况下，对象选择装置可以被配置为响应于终端用户输入分别地选择和/或全局地选择对象。如果全局地选择，则对象选择装置可以被配置为响应于终端用户输入全局地选择视场的角度范围(其可以小于视场的整个角度范围或者可以是视场的整个角度范围)内的全部对象。在一个实施例中，对象选择装置还被配置为接收来自终端用户的另一输入并且响应于另一终端用户输入持续不断地取消选择先前选择的对象。虚拟图像生成系统还包括控制子系统，该控制子系统被配置为生成源自至少一个选择的对象的视频数据、渲染(render)来自视频数据的三维场景中的多个图像帧以及将图像帧传送到显示子系统。在一个实施例中，显示子系统被配置为定位在终端用户的眼睛的前方。在另一实施例中，显示子系统包括投影子系统和部分透明的显示表面。在这种情况下，投影子系统可以被配置为将图像帧投影到部分透明的显示表面上，并且部分透明的显示表面可以被配置为定位在终端用户的眼睛与周围环境之间的视场中。虚拟图像生成系统还可以包括框架结构，该框架结构被配置为由终端用户佩戴并且承载显示子系统的至少一部分。控制子系统还被配置为生成源自选择的对象的音频数据并且将音频数据存储在存储器内。虚拟图像生成系统还可以包括多个扬声器，在这种情况下，控制子系统还可以被配置为将生成的音频数据传送到扬声器。在可选的实施例中，控制子系统还被配置为将视频数据与音频数据同步地存储在存储器中。在又一实施例中，虚拟图像生成系统还包括至少一个传感器，该至少一个传感器被配置为跟踪选择的对象相对于显示子系统的视场的位置。在这种情况下，控制子系统可以被配置为当跟踪的选择的对象的位置移出显示子系统的视场时停止将音频数据存储在存储器中，或者可选地，控制子系统被配置为当跟踪的选择的对象的位置移出显示子系统的视场时继续将音频数据存储在存储器中。如果选择的对象包括真实对象，则虚拟图像生成系统还可以包括被配置为生成音频输出的麦克风组件，在这种情况下，控制子系统还可以被配置为修改方向音频输出以优先感测源自选择的真实对象的声音。可以从修改的音频输出导出音频数据。虚拟图像生成系统还可以包括一个或多个相机，该一个或多个相机被配置为捕捉源自选择的真实对象的视频数据，在这种情况下，控制子系统还可以被配置为将视频数据与音频数据同步地存储在存储器中。控制子系统可以被配置为将捕捉的视频数据变换为用于选择的真实对象的虚拟内容数据并且将虚拟内容存储在存储器中。如果选择的对象包括虚拟对象，则虚拟图像生成系统还可以包括数据库，该数据库被配置为存储与用于多个虚拟对象的声音对应的内容数据，在这种情况下，控制子系统还可以被配置为从数据库中获取与选择的虚拟对象对应的内容数据，以及存储在存储器中的音频数据包括获取的内容数据。控制子系统还可以被配置为生成与选择的虚拟对象对应的元数据(例如，用于选择的虚拟对象的位置、取向和体积数据)，在这种情况下，存储在存储器中的音频数据可以包括所获取的内容数据和生成的元数据。在一个实施例中，虚拟图像生成系统还包括一个或多个传感器，该一个或多个传感器被配置为跟踪终端用户的头部姿势，在这种情况下，数据库可以被配置为存储用于多个虚拟对象的绝对元数据，以及控制子系统还可以被配置为通过获取与选择的虚拟对象对应的绝对元数据来生成元数据，以及基于跟踪的终端用户的头部姿势将绝对元数据局部化到终端用户。虚拟图像生成系统还可以包括至少一个扬声器，在这种情况下，控制子系统还可以被配置为从存储器检索存储的音频数据、从检索的音频数据导出音频并且将音频传送到扬声器。存储在存储器中的音频数据可以包括内容数据和元数据，在这种情况下，控制子系统还可以被配置为从存储器中检索存储的内容数据和元数据、基于检本文档来自技高网...

【技术保护点】
1.一种用于终端用户使用的虚拟图像生成系统，包括：存储器；显示子系统；对象选择装置，其被配置为接收来自所述终端用户的输入并且响应于所述终端用户输入持续不断地选择至少一个对象；以及控制子系统，其被配置为生成源自所述至少一个选择的对象的视频数据、渲染来自所述视频数据的三维场景中的多个图像帧、将所述图像帧传送到所述显示子系统、生成源自所述至少一个选择的对象的音频数据以及将所述音频数据存储在所述存储器中。

【技术特征摘要】
【国外来华专利技术】2017.02.28 US 62/464,7571.一种用于终端用户使用的虚拟图像生成系统，包括：存储器；显示子系统；对象选择装置，其被配置为接收来自所述终端用户的输入并且响应于所述终端用户输入持续不断地选择至少一个对象；以及控制子系统，其被配置为生成源自所述至少一个选择的对象的视频数据、渲染来自所述视频数据的三维场景中的多个图像帧、将所述图像帧传送到所述显示子系统、生成源自所述至少一个选择的对象的音频数据以及将所述音频数据存储在所述存储器中。2.根据权利要求1所述的虚拟图像生成系统，其中，所述控制子系统还被配置为将所述视频数据与所述音频数据同步地存储在所述存储器中。3.根据权利要求1所述的虚拟图像生成系统，还包括多个扬声器，其中，所述控制子系统还被配置为将所述生成的音频数据传送到所述扬声器。4.根据权利要求1所述的虚拟图像生成系统，其中，所述显示子系统具有视场，并且其中所述对象选择装置被配置为持续不断地选择所述视场中的所述至少一个对象。5.根据权利要求4所述的虚拟图像生成系统，其中，所述对象选择装置被配置为在所述显示子系统的所述视场中移动三维光标，并且响应于接收到所述终端用户输入来选择所述至少一个对象。6.根据权利要求1所述的虚拟图像生成系统，其中，所述终端用户输入包括一个或多个语音命令，并且其中所述对象选择装置包括被配置为感测所述一个或多个语音命令的一个或多个麦克风。7.根据权利要求1所述的虚拟图像生成系统，其中，所述终端用户输入包括一个或多个手部姿势，并且其中所述对象选择装置包括被配置为感测所述一个或多个手部姿势的一个或多个相机。8.根据权利要求1所述的虚拟图像生成系统，其中，所述至少一个对象包括多个对象，并且所述对象选择装置被配置为响应于所述终端用户输入分别选择所述对象。9.根据权利要求1所述的虚拟图像生成系统，其中，所述至少一个对象包括多个对象，并且所述对象选择装置被配置为响应于所述终端用户输入全局地选择所述对象。10.根据权利要求9所述的虚拟图像生成系统，其中，所述对象选择装置被配置为响应于所述终端用户输入全局地选择所述视场的角度范围内的全部对象。11.根据权利要求10所述的虚拟图像生成系统，其中，所述角度范围小于所述视场的整个角度范围。12.根据权利要求10所述的虚拟图像生成系统，其中，所述角度范围是所述视场的整个角度范围。13.根据权利要求1所述的虚拟图像生成系统，其中，所述对象选择装置还被配置为：接收来自所述终端用户的另一输入，并且响应于所述另一终端用户输入持续不断地取消选择所述至少一个先前选择的对象。14.根据权利要求1所述的虚拟图像生成系统，还包括至少一个传感器，其被配置为跟踪所述至少一个选择的对象相对于所述显示子系统的所述视场的位置。15.根据权利要求14所述的虚拟图像生成系统，其中，所述控制子系统被配置为：当所述跟踪的所述至少一个选择的对象的位置移出所述显示子系统的所述视场时，停止将所述音频数据存储在所述存储器中。16.根据权利要求14所述的虚拟图像生成系统，其中，所述控制子系统被配置为：当所述跟踪的所述至少一个选择的对象的位置移出所述显示子系统的所述视场时，继续将所述音频数据存储在所述存储器中。17.根据权利要求1所述的虚拟图像生成系统，其中，所述至少一个选择的对象包括真实对象。18.根据权利要求17所述的虚拟图像生成系统，还包括：麦克风组件，其被配置为生成音频输出，其中所述控制子系统还被配置为修改所述方向音频输出以优先地感测源自所述选择的真实对象的声音，其中所述音频数据从所述修改的音频输出导出。19.根据权利要求17所述的虚拟图像生成系统，还包括：一个或多个相机，其被配置为捕捉源自所述选择的真实对象的视频数据，其中所述控制子系统还被配置为将所述视频数据与所述音频数据同步地存储在所述存储器中。20.根据权利要求19所述的虚拟图像生成系统，其中，所述控制子系统被配置为将所述捕捉的视频数据变换为用于所述选择的真实对象的虚拟内容数据，并且将所述虚拟内容存储在所述存储器中。21.根据权利要求1所述的虚拟图像生成系统，其中，所述至少一个选择的对象包括虚拟对象。22.根据权利要求21所述的虚拟图像生成系统，还包括：数据库，其被配置为存储与用于多个虚拟对象的声音对应的内容数据，其中所述控制子系统还被配置为从所述数据库获取与所述选择的虚拟对象对应的所述内容数据，以及存储在所述存储器中的所述音频数据包括所述获取的内容数据。23.根据权利要求22所述的虚拟图像生成系统，其中，所述控制子系统还被配置为生成与所述选择的虚拟对象对应的元数据，并且存储在所述存储器中的所述音频数据包括所述获取的内容数据和生成的元数据。24.根据权利要求23所述的虚拟图像生成系统，其中，所述元数据包括用于所述选择的虚拟对象的位置、取向和体积数据。25.根据权利要求23所述的虚拟图像生成系统，还包括：一个或多个传感器，其被配置为跟踪所述终端用户的头部姿势，其中所述数据库被配置为存储用于所述多个虚拟对象的绝对元数据，并且所述控制子系统还被配置为通过获取与所述选择的虚拟对象对应的所述绝对元数据来生成所述元数据，并且基于所述跟踪的所述终端用户的头部姿势将所述绝对元数据局部化到所述终端用户。26.根据权利要求1所述的虚拟图像生成系统，还包括至少一个扬声器，其中所述控制子系统还被配置为从所述存储器中检索所述存储的音频数据、从所述检索的音频数据中导出音频以及将所述音频传送到所述至少一个扬声器。27.根据权利要求26所述的虚拟图像生成系统，其中，存储在所述存储器中的所述音频数据包括内容数据和元数据，并且其中所述控制子系统还被配置为从所述存储器中检索所述存储的内容数据和元数据、基于所述检索的内容数据和元数据渲染空间化的音频以及将所述渲染的空间化的音频传送到所述至少一个扬声器。28.根据权利要求1所述的虚拟图像生成系统，其中，所述显示子系统被配置为定位在所述终端用户的所述眼睛的前方。29.根据权利要求28所述的虚拟图像生成系统，其中，所述显示子系统包括投影子系统和部分透明的显示表面，所述投影子系统被配置为将所述图像帧投影到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为定位在所述终端用户的所述眼睛与周围环境之间的所述视场中。30.根据权利要求28所述的虚拟图像生成系统，还包括：框架结构，其被配置为由所述终端用户佩戴，所述框架结构承载所述显示子系统的至少一部分。31.一种由终端用户操作虚拟图像生成系统的方法，包括：持续不断地选择至少一个对象；生成源自所述至少一个选择的对象的视频数据；渲染来自所述生成的视频数据的三维场景中的多个图像帧；向所述终端用户显示所述图像帧；生成源自所述至少一个选择的对象的音频数据；以及将源自所述至少一个选择的对象的所述音频数据存储在存储器中。32.根据权利要求31所述的方法，还包括将所述视频数据与所述音频数据同步地存储在所述存储器中。33.根据权利要求31所述的方法，还包括将源自所述至少一个选择的对象的所述音频数据变换成由所述终端用户感知的声音。34.根据权利要求31所述的方法，其中，在所述终端用户的视场中选择所述至少一个对象。35.根据权利要求34所述的方法，其中，选择所述至少一个对象包括在所述终端用户的所述视场中移动三维光标并且用所述三维光标选择所述至少一个对象。36.根据权利要求31所述的方法，其中，选择所述至少一个对象包括发出一个或多个语音命令。37.根据权利要求31所述的方法，选择所述至少一个对象包括做出一个或多个手部姿势。38.根据权利要求31所述的方法，其中，所述至少一个对象包括多个对象，并且选择所述多个对象包括分别地选择所述对象。39.根据权利要求31所述的方法，其中，所述至少一个对象包括多个对象，并且选择所述多个对象包括全局地选择所述对象。40.根据权利要求39所述的方法，其中，全局地选择所述对象包括限定所述终端用户的视场的角度范围以及选择所述终端用户的所述视场的所述限定的角度范围内的所述对象的全部。41.根据权利要求40所述的方法，其中，所述限定的角度范围小于所述终端用户的所述视场的整个角度范围。42.根据权利要求40所述的方法，其中，所述限定的角度范围是所述终端用户的所述视场的整个角度范围。43.根据权利要求31所述的方法，还包括持续不断地取消选择所述至少一个先前选择的对象。44.根据权利要求31所述的方法，还包括跟踪所述至少一个选择的对象相对于所述终端用户的视场的位置。45.根据权利要求44所述的方法，还包括：当所述跟踪的所述至少一个选择的对象的位置移出所述终端用户的所述视场时，停止将源自所述至少一个选择的对象的所...

【专利技术属性】
技术研发人员：黄自强，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US