基于多轨道的沉浸式媒体播放制造技术

本发明专利技术公开了用于在各种情景下动态指示播放组的方法、装置和系统。在一个示例方面，一种方法包括：基于播放组信息确定与三维空间中的容积视频相对应的播放组，所述播放组包括多个组件，其中，某一类型的每个组件具有一个或多个版本；从与所述播放组相对应的媒体轨道获得二维容积视频内容；以及基于具有不同版本的所述多个组件，将所述容积视频重建到三维空间中。中。中。

【技术实现步骤摘要】
【国外来华专利技术】基于多轨道的沉浸式媒体播放


[0001]本专利文件总体上涉及沉浸式技术。

技术介绍

[0002]随着近年来人机交互和人工智能技术的发展，沉浸式技术正在彻底改变我们的工作和生活方式。沉浸式技术应用于多个领域，包括营销和广告、医疗保健、教育和游戏。新的沉浸式技术的快速发展要求对视频和图像数据进行有效的处理。

技术实现思路

[0003]本专利文件除其他外，描述了用于在各种情景下动态指示播放组的技术。
[0004]在一个方面，公开了一种处理媒体内容的方法。所述方法包括：基于播放组信息确定与三维空间中的容积视频相对应的播放组，所述播放组包括多个组件，其中，某一类型的每个组件具有一个或多个版本；从与所述播放组相对应的媒体轨道获得二维容积视频内容；以及基于具有不同版本的所述多个组件，将所述容积视频重建到三维空间中。
[0005]在另一方面，公开了一种处理媒体内容的方法。所述方法包括：由服务器配置包括一种或多种类型的组件的播放组，某一类型的每个组件具有一个或多个版本；由所述服务器配置与所述播放组相对应的播放组信息；以及由所述服务器向使用设备传输媒体呈现描述中的所述播放组信息。
[0006]在另一示例方面，公开了一种无线通信装置，包括处理器，所述处理器被配置为实现上述方法。
[0007]在另一示例方面，公开了一种计算机存储介质，其上存储有代码，所述代码用于实现上述方法。
[0008]本文件对这些以及其他方面进行了描述。
附图说明
[0009]图1是示出基于播放组的容积视频数据处理的示例的流程示意图。
[0010]图2是示出基于本公开技术的一些实施例的替代V3C组件的媒体轨道结构的示例的图示。
[0011]图3是示出基于本公开技术的一些实施例的V3C组件轨道的播放组的示例结构的图示。
[0012]图4是示出基于本公开技术的一些实施例的媒体呈现描述(MPD)中的V3C组件的播放组结构的示例的图示。
[0013]图5是基于本公开技术的一些实施例的容积视频数据表示和处理设备的示例框图。
[0014]图6示出了基于本公开技术的一些示例实施例的一种处理媒体内容的方法的示例。
[0015]图7示出了基于本公开技术的一些示例实施例的一种处理媒体内容的方法的另一示例。
具体实施方式
[0016]本文件中使用各个小节标题仅是为了便于理解，而并不将实施例的范围限制在描述它们的各个小节中。
[0017]本公开技术可以在一些实施例中实现，以提供基于多轨道封装容积视频(Volumetric Video)的播放表示和处理方法，其可以改善传输效率和渲染处理。本公开技术的一些实施例可用于在不同的网络状况下有效地传输容积视频内容，并以适当的质量重建容积视频。
[0018]沉浸式媒体通过音频和视频技术，使用户在逼真的虚拟空间中体验高度沉浸的感觉。目前，沉浸式媒体系统使用容积视频来表示三维场景/对象，即场景中的任何对象都可以通过六个自由度的运动来观看。
[0019]在沉浸式媒体系统中，对于容积视频处理过程，系统平台产生容积视频，包括：将三维容积视频投影到二维平面上，通过图集数据(三维空间与二维空间之间的投影关系)和二维组件(几何、属性和占用图数据)表示容积视频，对图集数据和组件数据进行压缩，封装成媒体文件。容积视频被存储在平台侧，并根据观看要求传送到用户侧。
[0020]在当前技术下，根据二维平面上的容积视频表示，容积视频媒体文件可以包括多个轨道，其中每个轨道分别包含容积视频参数、图集参数、图集数据和/或V3C组件。V3C(基于视觉容积视频的编码)组件数据采用视频编码方法进行压缩，其可以以不同版本生成，如AVC(高级视频编码)、HEVC(高效视频编码)编码方法、不同的比特率和分辨率等。
[0021]不同版本的占用组件、几何组件和属性组件之间可能存在关系或依赖关系。基于图集数据和占用组件生成几何组件数据。另外，还基于占用组件数据、几何组件数据和其他信息生成属性组件数据。当不保留依赖关系时，可能会出现可见的渲染伪像。例如，几何与(多个)属性之间不完全匹配的边界可能会导致“飞行像素”。当正确的占用轨道不与匹配的几何轨道相配对时，甚至会发生更多的可见错误。不同质量的占用图和几何的组合可能很容易最终在面片边界周围产生扭曲的边缘。在这种情况下，只有来自替代组的V3C组件的某些组合可以一起播放。
[0022]根据不同版本和类型的V3C组件之间的依赖关系，存在许多播放组合，形成包括具有不同版本的同一类型V3C组件的替代组或备选组。本说明书定义了一种用于通过轨道组或实体组指示替代播放组的机制。每个播放组的组合在播放过程中都是不变的，需要尽可能列出所有的播放组合，以便用户终端选择最优播放方案。如果存在多个图集或图集瓦片，这类组的数量将会很大。
[0023]对于支持六自由度的容积视频，导演在容积视频制作过程中可以考虑控制和改变用户的观看状态，以引导用户观看最佳视觉内容。容积视频内容可以是部分传输，例如，传输与视场(FOV)相对应的组件数据高质量版本和FOV之外的组件数据低质量版本，或者传输视口内的内容。由于容积视频中的场景/对象是动态变化的，因此播放组也应相应地变化。需要一种用于动态指示播放组的机制来适应更多的情景。
[0024]应当注意，在本公开技术的一些实施例中，一种实施方式方式是将容积视频数据
存储在基于ISO(国际标准化组织)基本媒体文件格式的文件中。其中，ISO基本媒体文件格式如受限方案信息数据盒、轨道参考数据盒、轨道组数据盒等可以参照ISO/IEC JTC1/SC29运动图像专家组(简称MPEG)制定的MPEG
‑
4第12部分ISO基本媒体文件格式(ISO/IEC 14496
‑
12)进行操作。容积视频的投影步骤、包装步骤和基本格式可以参照ISO/IEC JTC1/SC29运动图像专家组(MPEG)制定的MPEG
‑
I第10部分(ISO/IEC 23090
‑
10)进行操作。封装的容积视频的传输及其基本格式可以参照ISO/IEC JTC1/SC29/运动图像专家组(MPEG)制定的MPEG
‑
DASH。
[0025]图1是示出基于播放组的容积视频数据处理的示例的流程示意图。
[0026]本公开技术的一些实施例可用于提供一种用于基于多轨道的容积视频的播放方法。如图1所示，基于播放组的容积视频处理可以包括以下操作：
[0027]‑
S201，根据播放组信息确定与到3D空间中的重建容积视频相对应的播放组；
[0028]‑
S202，获得与所述播放组相对应的媒体轨道中的二维容积视频内容；以及
[0029]‑
S203，将所述容积视频重建到三维空间中。
[0030]图2是示出基于本公开技术的一些实施例的替代V3C组件的媒体轨道结构的示例的图示。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理媒体内容的方法，包括：基于播放组信息确定与三维空间中的容积视频相对应的播放组，所述播放组包括多个组件，其中，某一类型的每个组件具有一个或多个版本；从与所述播放组相对应的媒体轨道获得二维容积视频内容；以及基于具有不同版本的所述多个组件，将所述容积视频重建到三维空间中。2.根据权利要求1所述的方法，其中，所述组件包括基于视觉容积视频的编码(V3C)组件。3.根据权利要求2所述的方法，其中，所述V3C组件包括占用组件、几何组件或属性组件中的至少一种。4.根据权利要求3所述的方法，其中，每个图集或图集瓦片对应于具有多个版本的属性组件、占用组件和/或几何组件。5.根据权利要求3所述的方法，其中，不同版本的所述占用组件、不同版本的所述几何组件和不同版本的所述属性组件之间分别具有依赖关系。6.根据权利要求1所述的方法，其中，所述播放组包括来自多个替代轨道组的V3C组件。7.根据权利要求1所述的方法，其中，所述不同版本包括不同编码方法、不同比特率或不同分辨率中的至少一种。8.根据权利要求1所述的方法，其中，所述播放组中的所述组件对应于一个或多个图集或图集瓦片。9.根据权利要求1所述的方法，其中，所述播放组基于定时元数据轨道进行配置，所述定时元数据轨道用于在样本入口和/或属于所述样本入口的一个或多个样本中配置动态播放分组信息。10.根据权利要求9所述的方法，其中，所述定时元数据轨道用于在每个采样时间配置所述播放组。11.根据权利要求9所述的方法，其中，所述样本入口包括用于配置初始播放组的配置信息。12.根据权利要求11所述的方法，进一步包括：生成标志以指示所述播放组的变化。13.根据权利要求11所述的方法，进一步包括：生成标志以指示一个或多个新播放组。14.根据权利要求1所述的方法，其中，所述播放组基于样本组进行配置，所述样本组包括包含视频编码的组件数据的轨道或包含图集或图集瓦片的轨道中的样本。15.根据权利要求14所述的方法，其中，所述样本组被配置为在采样周期期间使用，并基于所述采样周期进行更新。16.根据权利要...

【专利技术属性】
技术研发人员：李秋婷，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：