以基于景深的多层结构的虚拟现实媒体内容生成制造技术

虚拟现实(VR)装置存储包括视频片段序列的编码的360

【技术实现步骤摘要】
【国外来华专利技术】以基于景深的多层结构的虚拟现实媒体内容生成
[0001]相关申请的交叉引用/通过引用合并
[0002]无。


[0003]本公开的各种实施例涉及沉浸式虚拟现实(VR)装置和技术。更具体地，本公开的各种实施例涉及以基于景深的多层结构的虚拟现实媒体内容生成。

技术介绍

[0004]基于虚拟现实(VR)的装置领域中的最近进展已经增加了用户对不同类型的VR装置上的VR视频的参与，所述不同类型的VR装置例如VR游戏控制台、VR头戴式装置(HMD)、基于VR的电视屏幕等。然而，大多数现有的360
°
视频或VR视频具有平坦结构，其中，诸如用户界面(UI)、文本、字幕、计算机生成图像(CGI)、按钮、动画和重叠图形的不同部件被合并和重叠到单层360
°
视频中。用于360
°
视频或沉浸式VR视频的当前视频格式和VR渲染机制限制了用户交互以及360
°
视频或VR视频的不同分量的深度值的任何变化。
[0005]通过将所描述的系统与本公开的一些方面进行比较，如在本申请的其余部分中并且参考附图所阐述的，常规和传统方法的进一步限制和缺点对于本领域技术人员将变得显而易见。

技术实现思路

[0006]一种用于以基于景深的多层结构的VR媒体内容生成的虚拟现实(VR)装置及方法基本上如至少一幅附图所示及/或结合至少一幅附图所描述，并在权利要求中更完整地阐述。
[0007]通过阅读本公开的以下详细描述以及附图，可以理解本公开的这些和其他特征和优点，在附图中，相同的附图标记始终表示相同的构件。
附图说明
[0008]图1是示出根据本公开的实施例的用于多层结构的虚拟现实(VR)媒体内容生成并在虚拟现实装置处进行交互式回放的示例性网络环境的框图。
[0009]图2A是示出根据本公开的实施例的用于多层结构的VR媒体内容生成和交互式回放的示例性VR装置的框图。
[0010]图2B是示出根据本公开的实施例的在用户穿戴的HMD装置处的360
°
VR视频的不同渲染层的示例性场景。
[0011]图2C是示出根据本公开的另一实施例的在HMD装置处的360
°
VR视频的不同渲染层的示例性场景。
[0012]图3A是示出根据本公开的实施例的在图2A的VR装置处渲染的多层结构的360
°
VR视频的视频格式的示例性场景。
[0013]图3B是示出根据本公开的实施例的在用户穿戴的HMD装置处的360
°
VR视频的不同渲染层的视图的示例性场景。
[0014]图4A是示出根据本公开的实施例的响应于用户输入而对背景层的景深的修改的示例性场景。
[0015]图4B是示出根据本公开的实施例的响应于用户输入对不同的渲染层的音频感知深度和音频感知方向的修改的示例性场景。
[0016]图5是示出根据本公开的实施例的用于沉浸式VR视频的用户交互式回放的示例性方法的流程图。
具体实施方式
[0017]本公开的各种实施例可在用于以多层结构的VR媒体内容生成以及所生成的多层结构的VR媒体内容的交互式回放的方法及虚拟实境(VR)装置中找到。所公开的方法和VR装置提供了一种新的VR视频格式，其能够以多层结构以同心360
°
球形格式封装图像/视频。此外，所公开的方法和VR装置提供了一种渲染机制，该渲染机制为经渲染的VR媒体内容提供增强的深度感，并使得用户能够与经渲染的VR媒体内容的多层结构的不同层进行交互。
[0018]图1是示出根据本公开实施例的用于以多层结构的虚拟现实(VR)媒体内容生成和虚拟现实装置处的交互式回放的示例性网络环境的框图。参考图1，示出了网络环境100，其包括VR装置102和经由通信网络108通信地耦合到VR装置102的媒体服务器106。在一些实施例中，VR装置102可以通信地耦合到输入/输出(I/O)控制台104。用户110可以与VR装置102和I/O控制台104接合。
[0019]VR装置102可以包括适当的逻辑、电路和接口，其可以被配置为控制以多层格式的360
°
VR视频的回放，使得在VR装置102处以从用户视点的不同景深渲染每一层。VR装置102可以包括专用视频编解码器、3D VR显示器、I/O接口、存储器、图形加速器或专用图形处理单元(GPU)、传感器电路、以及用于VR装置102处的360
°
VR视频的离线/在线回放的其他计算电路。VR装置102可以实现为VR支持系统，例如基于投影的VR支持系统、可穿戴的支持系统、基于监视器的VR支持系统等。VR装置102的示例可以包括但不限于洞穴式自动虚拟环境(CAVE)显示系统、头戴式显示器(HMD)、悬臂式(boom-mounted)显示器、鱼缸(fish-tank)VR显示器、全息台、全景VR显示器和可穿戴VR眼镜。
[0020]I/O控制台104可以包括适当的逻辑、电路、接口，其可以被配置为从用户(例如，用户110)接收多个用户输入并将多个用户输入提供给VR装置102，以便于与在VR装置102处的360
°
VR视频的回放进行用户控制的交互。I/O控制台104可以包括多个输入接口，例如用于基于笔划的和/或基于移动的输入的按钮和/或操纵杆、手势传感器、身体姿势传感器、触摸屏等。I/O控制台104的示例可以包括但不限于游戏控制器、操纵杆、鼠标、键盘、深度传感器、基于姿势的控制器等。可以注意到，I/O控制台104已经被示出为VR装置102的外围控制台装置。然而，本公开可以不限于此，并且I/O控制台104或I/O控制台104的功能可以集成到单个VR装置中，诸如VR装置102，而不脱离本公开的范围。
[0021]媒体服务器106可以包括适当的逻辑、电路、接口，其可以被配置为存储编码的360
°
VR视频并将其传送到VR装置102，以在VR装置102处回放。媒体服务器106可以包括适当的包(package)，以将VR媒体内容和其他非VR内容(例如，字幕、图形项目、3D音频资源、动
画、CGI等)组合成编码的360
°
VR视频的多个视频片段。媒体服务器106还可以包括音频和视频编解码器，以对每个视频片段中的多个平坦层进行编码，以便传递到VR装置102。尽管没有提及，但是媒体服务器106可以是媒体服务器的分布式网络，而不是单个媒体服务器，所述媒体服务器在可以由不同人口统计因素识别的不同地区上共享不同的VR内容和非VR内容，例如，特定于印度用户的所有内容可以存储在针对印度用户的专用服务器处。
[0022]通信网络108可以包括适当的逻辑、电路和接口，其可以被配置为提供用于数据的发送和接收的多个网络端口和多个通信信道。每个网络端口可对应于用于通信数据的发送和接收的虚拟地址(或物理机器地址)。例如，虚拟地址可以是因特网协议版本4(IPV4)(或IPV6地址)，而物本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种虚拟现实VR装置，包括：VR显示器；存储器，被配置为存储包括视频片段序列的经编码的360
°
VR视频，其中，所述视频片段序列的每个视频片段包括多个平坦层，以及其中，所述多个平坦层中的每个平坦层是与图像元数据相关联的至少一个等边矩形图像帧；以及VR回放电路，其中，所述VR回放电路被配置为：基于所述多个平坦层中的每个平坦层的图像元数据，将经编码的360
°
VR视频的每个视频片段中的所述多个平坦层渲染为在所述VR显示器处相对于用户视点以多个深度值投影的多个同心球形层；接收与和经渲染的360
°
VR视频的每个视频片段中的所述多个同心球形层中的至少一个同心球形层相关联的图像元数据中的属性集合的修改相关联的多个用户输入；基于与经渲染的360
°
VR视频的视频片段的所述多个同心球形层的所述至少一个同心球形层相关联的图像元数据的属性集合的修改，生成所述至少一个同心球形层的经修改的图像元数据；以及根据所述经渲染的360
°
VR视频的每个视频片段的所述至少一个同心球形层的经修改的图像元数据来控制被渲染为所述多个同心球形层的每个视频片段的回放，其中基于对与所述视频片段的所述至少一个同心球形层相关联的图像元数据中的属性集合的用户选择来控制每个视频片段的回放。2.根据权利要求1所述的VR装置，其中，所述VR回放电路还被配置为通过对经编码的360
°
VR视频的经编码的视频片段的所述多个平坦层以及每个平坦层的图像元数据进行解压缩来生成解码的360
°
VR视频。3.根据权利要求1所述的VR装置，其中，每个平坦层的图像元数据中的属性集合包括与层类型、深度值、三维3D音频位置值、阿尔法值和媒体播放器特定信息相关联的层信息，所述层信息被用于将每个平坦层渲染为同心球形层。4.根据权利要求1所述的VR装置，其中，所述多个同心球形层包括背景球形层和多个球形项目层。5.根据权利要求4所述的VR装置，其中，所述VR回放电路还被配置为将所述背景球形层渲染为所述多个同心球形层中的最外面的同心球形层。6.根据权利要求5所述的VR装置，其中，所述背景球形层与作为针对经解码的360
°
VR视频的每个视频片段中的所述多个平坦层指定的所述多个深度值中的最大值的深度值相关联。7.根据权利要求4所述的VR装置，其中，所述VR回放电路还被配置为将所述多个球形项目层中的每一个渲染为所述多个同心球形层中的内同心球形层。8.根据权利要求7所述的VR装置，其中，所述多个球形项目层包括图形图像、文本内容、交互按钮、用户接口、3D深度纹理、计算机生成的影像(CGI)或动画序列中的至少一个。9.根据权利要求1所述的VR装置，其中，每个视频片段的每个平坦层的深度值与相对于所述用户视点测量的同心球形层的半径相对应。10.根据权利要求1所述的VR装置，其中，所述VR回放电路还被配置为根据经渲染的
360
°
VR视频的每个视频片段的同心球形层的音频项的3D音频位置值来渲染所述同心球形层的所述音频项。11.根据权利要求1所述的VR装置，其中，所述多个用户输入包括触摸输入、触觉输入、手势输入、语音输入、头部旋转输入、或眼睛移动输入、以及瞳孔扩张输入中的至少一个。12.根据权利要求1所述的VR装置，其中，对所述视频片段的所述至少一个同心球形层的图像元数据的属性集合的修改与对在经渲染的360
°
VR视频的回放期间的所述视频片段的所述至少一个同心球形层的修改相对应。13.根据权利要求1所述的VR装置，其中，所述VR回放...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：索尼公司，
类型：发明
国别省市：