协作沉浸式直播动作360度视频和虚拟现实制造技术

描述了一种用于协作直播动作虚拟现实体验的设计。客户端利用360度显示单元来播放360度视频文件、相对应的音频文件，以及请求用户做出将对虚拟现实体验的进展进行指示的选择的注释。鉴于脚本树对用户输入进行处理来确定后续的360度视频、音频和注释以发送至客户端。在一些实施例中，虚拟现实体验的进展由第二用户或者协作地参与该虚拟现实体验的两个用户做出的注释选择所指示。

360 Degree Video and Virtual Reality for Collaborative Immersion Live Broadcasting Action

This paper describes a design of virtual reality experience for cooperative live broadcasting action. The client uses 360-degree display unit to play 360-degree video files, corresponding audio files, and requests the user to make a comment on the choice of indicating the progress of virtual reality experience. Given that the script tree processes user input to determine the subsequent 360-degree video, audio and annotations to send to the client. In some embodiments, the progress of virtual reality experience is indicated by annotation choices made by a second user or two users collaboratively participating in the virtual reality experience.

【技术实现步骤摘要】
【国外来华专利技术】协作沉浸式直播动作360度视频和虚拟现实
本申请总体上涉及360度视频的交互式和协同式特征，尤其涉及创建共享型360度交互式虚拟现实环境，例如，被例如用于训练或指导、玩游戏等的共享型360度交互式虚拟现实环境。
技术介绍
用于存储和播放数字视频文件的常规的基于web的系统通常仅支持视频的传统播放，其中视频以线性方式推进而并没有来自观看者的输入而且也没有辨识观看者的移动并对其做出响应的系统。这些系统也并不允许多个用户从不同视角来共享数字视频体验，而是为多个用户提供用于播放的单一视角。虚拟现实系统将它们的用户沉浸在360度环境中，允许用户就像他们出现在虚拟现实中一样来体验所显示的内容。虽然传统的虚拟现实系统通过占据用户的整个视场而培养出了沉浸式体验，并且可以允许用户以视频游戏的形式介入其中，它们在传统上并不与无法对用户的视点选择做出响应的二维视频相兼容，而是依赖于能够基于用户对视点的选择或者用户的移动而被调节的动态生成的音频/视觉内容。此外，传统的虚拟现实系统允许用户以独自的方式来体验虚拟现实作品(例如，具有或没有头戴式设备(headset))，其中用户对视点的选择驱动该体验。换句话说，虚拟现实作品的用户体验通常无法在多个用户之间进行共享。
技术实现思路
一种方法、系统和计算机程序产品公开了创建协作的直播动作虚拟现实体验，其允许多个用户从不同视角同时参与创建单个交互式故事。该故事可以在均与360度显示单元相关联的多个客户端上观看。第一客户端的用户向第二客户端发送请求以发起虚拟现实体验(“2玩家模式(2-playermode)”)。响应于第一客户端的用户发送该请求，该系统访问包括360度视频文件、音频文件和注释的第一360度媒体分段。该系统在第一客户端上显示该第一360度媒体分段，并且接收来自第一用户的响应于该注释的输入。响应于第一用户提供了输入，该系统访问对应于该注释选择的第二360度媒体分段。该系统随后在第一客户端上呈现该第二360度媒体分段。作为第一用户响应于该第二注释提供了输入的响应，该系统访问并显示第三360度媒体分段。在其它实施例中，该系统响应于来自第二用户或者来自第一用户和第二用户二者的输入而访问360度媒体分段。在另一个实施中，单个用户使用客户端向服务器发送请求以发起虚拟现实体验(“1玩家模式(1-playermode)”)。当该客户端的用户下载应用时，存储在服务器上的视频数据库和注释数据库中的所有360度媒体分段被包括在该下载中并且被存储在客户端上，而使得该客户端不需要连接至网络以开始360度媒体分段的播放。在用户选择1玩家模式的情况下，所有的后续注释选择都由该客户端的用户所做出。可替换地，一些注释可以由计算机自动做出。1玩家和2玩家模式都被预见到，以下描述仅针对于2玩家的迭代。对于本领域技术人员而言将会清楚明白的是，除非以其它方式有所提及，否则同样的功能应用于1玩家模式。本公开的方面提供了创建共享型交互式环境的方法，包括：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与第一360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该360度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的响应于该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一360度显示单元视觉呈现该第二360度视频文件和第二注释，与此同时该第二客户端设备的第二360度显示单元同时呈现也与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。本公开的方面提供了一种计算机系统，包括：计算机可读存储介质，其包括用于创建共享型交互式环境的可执行程序代码，该计算机程序代码：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该360度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一360度显示单元视觉呈现该第二360度视频文件和第二注释，同时该第二客户端设备的第二360度显示单元同时呈现同样与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。本公开的方面提供了一种存储计算机可执行指令的计算机可读介质(其可以是非暂时性计算机可读介质，但是本方面并不局限于此)，该计算机可执行指令响应于执行而使得包括处理器的设备实行操作，所述操作包括：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该第一360度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一360度显示单元视觉呈现该第二360度视频文件和第二注释，同时该第二客户端设备的第二360度显示单元同时呈现同样与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。本公开的其它方面提供了一种存储计算机可执行指令的计算机可读介质(其可以是非暂时性计算机可读介质，但是本方面并不局限于此)，该计算机可执行指令响应于执行而使得包括处理器的设备实行根据本文所描述的任意方面或实施方式的方法。本公开的其它方面提供了一种被配置为实行根据本文所描述的任意方面或实施方式的方法的计算机系统。本公开的方面因此允许虚拟现实系统或增强显示系统使用视频作为输入，由此避免了需要提供动态生成的音频视觉内容。无需动态地生成音频视觉内容在虚拟现实系本文档来自技高网...

【技术保护点】
1.一种创建共享型交互式环境的方法，所述方法包括：从第一客户端设备发送对开始共享型交互式环境计算机程序的请求，所述第一客户端设备与第一360度显示单元相关联；接收针对发起所述共享型交互式环境计算机程序的响应；从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述360度视频文件相关联的注释的用户输入而组织所述共享型交互式环境；从所述脚本树访问与所述第一360度视频文件相关联的第一注释；使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释；接收响应于所述第一注释的用户输入；基于所述用户输入识别所述脚本树中的后续节点；基于所述后续节点针对所述第一客户端设备访问第二360度视频文件和第二注释，所述第二360度视频文件和所述第二注释基于响应于如所述脚本树所确定的所述第一注释的所述用户输入而被访问；以及使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第二360度视频文件和所述第二注释，同时第二客户端设备的第二360度显示单元同时呈现同样与所述脚本树中的所述后续节点相关联的第三360度视频文件和第三注释。...

【技术特征摘要】
【国外来华专利技术】2016.08.10 US 15/233,9041.一种创建共享型交互式环境的方法，所述方法包括：从第一客户端设备发送对开始共享型交互式环境计算机程序的请求，所述第一客户端设备与第一360度显示单元相关联；接收针对发起所述共享型交互式环境计算机程序的响应；从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述360度视频文件相关联的注释的用户输入而组织所述共享型交互式环境；从所述脚本树访问与所述第一360度视频文件相关联的第一注释；使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释；接收响应于所述第一注释的用户输入；基于所述用户输入识别所述脚本树中的后续节点；基于所述后续节点针对所述第一客户端设备访问第二360度视频文件和第二注释，所述第二360度视频文件和所述第二注释基于响应于如所述脚本树所确定的所述第一注释的所述用户输入而被访问；以及使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第二360度视频文件和所述第二注释，同时第二客户端设备的第二360度显示单元同时呈现同样与所述脚本树中的所述后续节点相关联的第三360度视频文件和第三注释。2.根据权利要求1所述的方法，其中所述用户输入响应于所述用户的物理运动而经由所述360度显示单元的运动来提供。3.根据权利要求1或2所述的方法，其中所述脚本树的多个节点中的每个节点具有在所述脚本树中在该节点之前的至少一个节点以及在所述脚本树中跟随在该节点之后的至少一个节点。4.根据权利要求1、2或3所述的方法，进一步包括响应于由所述第一客户端设备作为对所述第二360度视频文件和所述第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释。5.根据任一前述权利要求所述的方法，其中所述脚本树的节点具有两条或更多条外出边，每条外出边与一个或多个用户所能够做出的选择相关联。6.根据任一前述权利要求所述的方法，其中所述脚本树的多个节点对应于多个360度视频文件，并且其中不同的360度视频文件在所述脚本树的所述多个节点中的每个节点处被呈现给每个客户端。7.根据权利要求1、2或3所述的方法，进一步包括：响应于由所述第一客户端设备作为对所述第二360度视频文件和第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释；接收响应于所述第四注释的用户输入；以及响应于所述用户输入使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释。8.根据任一前述权利要求所述的方法，其中所述第二360度视频文件和所述第二注释基于所述第一客户端设备的所述用户已经选择成为第一玩家而针对所述第一客户端设备被访问，并且其中所述第三360度视频文件和所述第三注释基于所述第二客户端设备的所述用户已经选择成为第二玩家而针对所述第二客户端设备被访问。9.根据任一前述权利要求所述的方法，其中所述第二360度视频文件和第二注释与所述第三360度视频文件和第三注释是相同的。10.根据权利要求1至8中任一项所述的方法，其中所述第二360度视频文件和第二注释与所述第三360度视频文件和第三注释是不同的。11.一种计算机系统，包括：计算机可读存储介质，所述计算机可读存储介质包括用于创建共享型交互式环境的可执行程序代码，所述计算机程序代码：从第一客户端设备发送对开始共享型交互式环境计算机程序的请求，所述第一客户端设备与360度显示单元相关联；接收针对发起所述共享型交互式环境计算机程序的响应；从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述360度视频文件相关联的注释的用户输入而组织所述共享型交互式环境；从所述脚本树访问与所述第一360度视频文件相关联的第一注释...

【专利技术属性】
技术研发人员：大卫·林德，斯科特·D·朗格尔，亚历山大·罗瑟拉，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US