现实世界空间的虚拟现实呈现制造技术

提供用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)体验的方法和系统。一种方法提供：发送对所述现实世界空间的所述VR体验的请求，以及识别由所述用户做出的座位选择。所述方法包括以下操作：将所述座位选择映射到现实世界捕获系统以便在对应于所述座位选择的位置处捕获视频和音频；以及接收所述现实世界捕获系统的现实世界坐标。此外，所述方法访问所述用户的用户配置文件，以及接收由所述现实世界捕获系统捕获的所述现实世界空间的视频流。所述方法能够识别现实世界对象，并且通过用图形内容项目进行覆盖来取代与所述现实世界对象相关联的图像数据而使用图形内容元素重塑所述现实世界对象。

Virtual reality presentation of real world space

【技术实现步骤摘要】
【国外来华专利技术】现实世界空间的虚拟现实呈现
本公开总体涉及现实世界空间的虚拟现实(VR)呈现，并且更具体地，涉及用于向头戴式显示器(HMD)的用户提供远离用户的现场事件的VR体验的方法和系统，所述现场事件诸如为电子竞技事件。
技术介绍
电子竞技(或“esports”)正在变为越来越受观众欢迎的娱乐形式。电子竞技是一种竞赛形式，其通常涉及通过电子系统促成的多人视频游戏，所述电子系统诸如视频游戏服务器和计算机系统。在电子竞技情景中玩的比较流行的视频游戏种类中的一些视频游戏种类是即时战略游戏、战斗游戏、第一人称射击(FPS)射击游戏以及多人在线战斗竞技场(MOBA)游戏。当在受众面前现场玩电子竞技游戏时，电子竞技事件变为观众事件。许多电子竞技事件是在大竞技场中举办，并且在诸如超大屏幕的大显示器上向受众成员提供游戏动作的视图以及来自解说员团队的现场解说。因此，电子竞技现场的受众成员会被赋予游戏动作、玩家、解说员和受众自身的沉浸式现实世界体验。在许多情况下，不能亲自参加电子竞技事件的电子竞技爱好者仍然能够经由对所述事件的在线现场直播进行收看。因此，远程观众能够获得由(例如)主办事件的组织或发行事件的发行公司产生的所述事件的通用视频流。无论哪种情景，电子竞技事件的当前视频流都不是沉浸式的。举例来说，在显示器上观看电子竞技视频流的远程观众将不会有像沉浸在主办电子竞技事件的竞技场中一样的感觉。另外，可能存在观众可能感兴趣的多个摄像机视图和“屏幕视图”(例如，玩家的屏幕所显示的内容)。当前的电子竞技广播不允许消费者选择他们想要播出视图中的哪些视图。在这种背景下出现了若干实施方案。
技术实现思路
本公开的实施方案涉及用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)呈现的方法和系统。在一个实施方案中，一种方法包括以下操作：发送对现实世界空间的VR呈现的请求，以及识别由用户做出的在所述现实世界空间内的座位选择，所述座位选择会被映射到现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频。所述方法还包括以下操作：接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标。所述方法能够访问用户的具有用户偏好的用户配置文件。根据一些实施方案，所述方法从现实世界捕获系统接收现实世界空间的视频流，所述视频流包括由现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在HMD中从与对应于座位选择的现实世界捕获系统的现实世界坐标相关联的视角呈现所述多个图像。所述方法还包括以下操作：从视频流的多个图像中识别被配置成在呈现期间进行重塑的现实世界对象。根据此实施方案和其他实施方案，所述方法基于所述用户配置文件来重塑多个视频图像内的现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据。在某些实施方案中，基于与对应于座位选择的现实世界捕获系统相关联的视角在几何上调整所述覆盖。然后，所述方法经由HMD来呈现已经为用户重塑的视频流以进行VR呈现。通过结合附图进行的以下详细描述，本公开的其他方面将变得显而易见，以下详细描述举例说明本公开的原理。附图说明通过参考结合附图进行的以下描述来最佳地理解本公开，在附图中：图1是用于输送在远程现实世界空间中发生的电子竞技事件的虚拟现实(VR)呈现的实施方案的概念图解。图2示出根据一个实施方案的用于重塑现实世界空间的VR呈现的方法的总体流程。图3示出根据一个实施方案的用于使用从现实世界空间搜集的数据来提供具有与由用户做出的座位选择相对应的视点的现实世界空间的VR呈现的方法的总体流程。图4示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的静态现实世界对象的总体流程。图5示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的移动的现实世界对象的总体流程。图6示出根据一个实施方案的远程观众做出经由HMD观看现场事件的座位选择的概念图解。图7示出根据一个实施方案的将远程观众的座位选择映射到现实世界捕获系统的过程的概念图解，所述现实世界捕获系统包括用于捕获现实世界中的事件的多个摄像机和传声器。图8示出根据一个实施方案的从现实世界空间数据和现实世界环境数据获得与现实世界捕获系统相关联的视点映射数据的概念图解。图9示出重塑电子竞技事件的现实世界视图中的现实世界对象的概念图解。图10A和图10B示出基于现实世界捕获系统的视角在几何上调整用于覆盖在广告顶部上的图形元素以进行重塑的概念图解。图11示出可配置成进行重塑的现实世界对象的额外实施方案。图12示出根据一个实施方案的向远程观众呈现在电子竞技事件中玩的视频游戏的游戏中飞越视图的概念图解。图13示出根据一个实施方案的远程观众在电子竞技事件的不同视图之间进行选择以供显示的概念图解。图14示出根据一个实施方案的使得能够经由HMD向用户进行电子竞技事件的VR呈现的示例性计算系统的图。图15示出根据一个实施方案的两个远程观众在电子竞技事件的情景内虚拟地彼此交互的概念图解。图16示出能够与本文呈现的方法和过程一起使用的头戴式显示器(HMD)的实施方案。具体实施方式以下实施方案描述用于经由HMD向远程观众提供现场事件的沉浸式虚拟体验的方法、计算机程序和设备。然而，本领域技术人员将清楚，可以在没有这些特定细节中的一些或全部特定细节的情况下实践本公开。在其他情况下，未详细描述众所周知的过程操作，以免不必要地使本公开混淆不清。电子竞技(或“esports”)正在变为越来越受观众欢迎的娱乐形式。电子竞技是一种竞赛形式，其通常涉及通过电子系统促成的多人视频游戏，所述电子系统诸如视频游戏服务器和计算机系统。在电子竞技情景中玩的比较流行的视频游戏种类中的一些视频游戏种类是即时战略游戏、战斗游戏、第一人称射击(FPS)射击游戏以及多人在线战斗竞技场(MOBA)游戏。当在受众面前现场玩电子竞技游戏时，电子竞技事件变为观众事件。许多电子竞技事件是在大竞技场中举办，并且在诸如超大屏幕的大显示器上向受众成员提供游戏动作的视图以及来自解说员团队的现场解说。因此，电子竞技现场的受众成员会被赋予游戏动作、玩家、解说员和受众自身的沉浸式现实世界体验。在许多情况下，不能亲自参加电子竞技事件的电子竞技爱好者仍然能够经由对所述事件的在线现场直播进行收看。因此，远程观众能够获得由(例如)主办事件的组织或发行事件的发行公司产生的所述事件的通用视频流。无论哪种情景，电子竞技事件的当前视频流都不是沉浸式的。举例来说，在显示器上观看电子竞技视频流的远程观众将不会有像沉浸在主办电子竞技事件的竞技场中一样的感觉。另外，可能存在观众可能感兴趣的多个摄像机视图和“屏幕视图”(例如，玩家的屏幕所显示的内容)。当前的电子竞技广播不允许消费者选择他们想要播出视图中的哪些视图。本文呈现的方法和系统允许HMD的远程用户观看诸本文档来自技高网...

【技术保护点】
1.一种用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)呈现的方法，其包括：/n发送对所述现实世界空间的所述VR呈现的请求；/n识别由所述用户做出的在所述现实世界空间内的座位选择，所述座位选择被映射到所述现实世界空间中的现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频；/n接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标；/n访问具有所述用户的用户偏好的用户配置文件；/n从所述现实世界捕获系统接收所述现实世界空间的视频流，所述视频流包括由所述现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在所述HMD中从与对应于所述座位选择的所述现实世界捕获系统的所述现实世界坐标相关联的视角呈现所述多个图像；/n从所述视频流的所述多个图像中识别被配置成在向所述用户呈现期间进行重塑的现实世界对象；/n基于所述用户配置文件来重塑所述多个视频图像内的所述现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据，所述覆盖基于与对应于所述座位选择的所述现实世界捕获系统相关联的所述视角在几何上进行调整；以及/n经由所述HMD向所述用户呈现所述视频流以进行所述VR呈现。/n...

【技术特征摘要】
【国外来华专利技术】20170929 US 62/566,266;20180221 US 15/901,8451.一种用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)呈现的方法，其包括：
发送对所述现实世界空间的所述VR呈现的请求；
识别由所述用户做出的在所述现实世界空间内的座位选择，所述座位选择被映射到所述现实世界空间中的现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频；
接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标；
访问具有所述用户的用户偏好的用户配置文件；
从所述现实世界捕获系统接收所述现实世界空间的视频流，所述视频流包括由所述现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在所述HMD中从与对应于所述座位选择的所述现实世界捕获系统的所述现实世界坐标相关联的视角呈现所述多个图像；
从所述视频流的所述多个图像中识别被配置成在向所述用户呈现期间进行重塑的现实世界对象；
基于所述用户配置文件来重塑所述多个视频图像内的所述现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据，所述覆盖基于与对应于所述座位选择的所述现实世界捕获系统相关联的所述视角在几何上进行调整；以及
经由所述HMD向所述用户呈现所述视频流以进行所述VR呈现。


2.如权利要求1所述的方法，其还包括：
在所述用户佩戴着所述HMD时从多个传感器跟踪所述HMD的位置和取向；以及
在所述用户佩戴着所述HMD时基于所述跟踪所述HMD的所述位置和所述取向来检测所述HMD的移动，其中，响应于所述HMD的所述移动而使所述视频流的视野改变。


3.如权利要求1所述的方法，其中，由所述现实世界捕获系统提供的所述视频流包括360度水平视野。


4.如权利要求1所述的方法，其中，所述映射数据还包括所述现实世界对象的坐标，所述现实世界对象的所述坐标能够用于所述重塑所述现实世界对象。


5.如权利要求1所述的方法，其中，所述用户偏好包括所述用户的人口统计资料、所述用户的浏览历史、所述用户的购物历史、所述用户的观看历史、所述用户的社交媒体数据或用户兴趣，所述用户偏好能够用于确定用于所述重塑的所述图形内容元素。


6.如权利要求1所述的方法，其中，所述覆盖包括测量所述现实世界捕获系统与所述现实世界对象的顶点之间的现实世界距离，以及测量从所述现实世界捕获系统追溯到所述顶点的射线之间所形成的角度，其中，使用所测得的距离和所测得的角度基于所述现实世界捕获系统的所述视角在几何上调整用图形内容项目进行覆盖。


7.如权利要求6所述的方法，其中，所述现实世界对象移动，并且其中，所述测量所述现实世界距离以及所述测量所述角度随着所述现实世界对象的移动而实时地或接近实时地进行，使得在现实世界对象移动时基于所述现实世界对象的改变的视角在几何上调整所述图形内容项目。


8.如权利要求1所述的方法，其中，所述重塑包括识别所述多个视频图像内的所述现实世界对象的顶点以及变换所述图形内容元素，使得图形内容项目的顶点与所述现实世界对象的所述顶点配合，使用已经变换的所述图形内容元素用于所述用所述图形内容元素进行覆盖来取代与所述现实世界对象相关联的所述图像数据。


9.如权利要求1所述的方法，其还包括：
从所述现实世界捕获系统接收所述现实世界空间的音频馈送，所述音频馈送是根据与座位位置相关联的所述现实世界捕获系统的现实世界坐标来处理。


10.如权利要求1所述的方法，其还包括：
接收所述用户对视频模块的选择，所述视频模块是所述现实世界空间的额外视频流，其中，在所述经由所述HMD向所述用户呈现所述视频流期间将所述视频模块显示为画中画显示。


11.如权利要求9所述的方法，其中，所述现实世界空间包括电子竞技(esports)活动，视频模块是以下各项的额外视频流之一：玩家的前方视角、玩家的后方视角、玩家的屏幕、玩家的控制板的视角、游戏的超大屏幕的视角、一个或多个解说员的视角、玩家队伍的视角，或受众成员的视角。


12.如权利要求1所述的方法，其还包括：
从所述用户接收针对所述现实世界空间中正在玩的视频游戏的飞越视图的命令，所述命令包括所述视频游戏内的针对所述飞越视图的位置；
从所述现实世界空间接收正在玩的所述视频游戏的游戏状态的流；
基于所述游戏状态的所述流和与所述视频游戏内的针对所述飞越视图的所述位置相关联的虚拟摄像机视图来渲染所述飞越视图；以及

【专利技术属性】
技术研发人员：M卡恩，李淼，K宫木，
申请(专利权)人：索尼互动娱乐美国有限责任公司，
类型：发明
国别省市：美国;US