沉浸式媒体处理中的等级信息制造技术

公开了一种用于向用户提供一致的沉浸式媒体观看体验同时减少带宽消耗的方法、装置和系统。在一个示例方面中，一种用于处理多媒体内容的方法包括：针对包括多个片段的全景媒体内容的帧和全景媒体内容的帧的比特流表示之间的转换，确定与该帧相关联的多组等级信息。每组等级信息指示用于处理全景媒体内容的帧的片段的优先级级别。该方法还包括基于多个等级参数，执行该转换。执行该转换。执行该转换。

Hierarchical information in immersive media processing

【技术实现步骤摘要】
【国外来华专利技术】沉浸式媒体处理中的等级信息


[0001]本专利申请通常针对多媒体内容处理。

技术介绍

[0002]用户喜欢以他们在现实生活中看到的方式来体验内容。随着技术的进步，沉浸式媒体带来了比以往任何时候都更真实的内容。沉浸式媒体包括由诸如360度图像和视频、虚拟现实(VR)、增强现实(AR)、混合现实(MR)，以及可穿戴设备和物联网(IoT)之类的的新兴技术平台驱动的非传统格式。

技术实现思路

[0003]本专利申请尤其描述了向用户提供一致的观看体验，同时减少沉浸式媒体的带宽消耗的技术。
[0004]在一个示例方面中，一种用于处理多媒体内容的方法包括：针对包括多个片段的全景媒体内容的帧和全景媒体内容的帧的比特流表示之间的转换，确定与该帧相关联的多组等级信息。每组等级信息至少指示用于处理全景媒体内容帧的片段的优先级级别、质量级别或流切换。该方法还包括基于多个等级参数，执行该转换。
[0005]在另一个示例方面中，公开了一种多媒体系统中的装置。该装置包括被配置为实施上述方法的处理器。
[0006]在又一个示例方面中，公开了一种计算机程序存储介质。计算机程序存储介质包括存储在其上的代码。当由处理器执行时，该代码使处理器实施所描述的方法。
[0007]本申请对这些和其他方面进了描述。
附图说明
[0008]图1是根据本技术的用于处理多媒体内容的方法的流程图表示。
[0009]图2示出了根据本技术的具有表示等级信息的不同数值的示例全景图像。
[0010]图3示出了根据本技术的具有表示等级信息的非连续的整数值的示例全景图像。
[0011]图4示出了根据本技术的具有表示等级信息的不同字符的示例全景图像。
[0012]图5示出了根据本技术的全景图像的示例非均匀划分。
[0013]图6示出了根据本技术的全景图像的另一示例非均匀划分。
[0014]图7A示出了根据本技术的示例全景图像，其中片段的子集具有对应的等级信息。
[0015]图7B示出了根据本技术的另一示例全景图像，其中片段的子集具有对应的等级信息。
[0016]图8示出了根据本技术的等级信息的示例级联表示。
[0017]图9是根据本技术的视频编码装置的示例的框图。
[0018]图10是根据本技术的视频解码装置的示例的框图。
[0019]图11是用于实施本文所述方法的硬件平台的实施例的框图。
具体实施方式
[0020]在本申请中，章节标题仅用于提高可读性，而不是将每个章节中所公开的实施例和技术的范围仅限于该章节。所公开的技术适用于各种成像和/或视频标准，包括但不限于高效视频编码(HEVC)标准和通用视频编码(VVC)标准。
[0021]沉浸式媒体是指利用诸如音频和视频等之类的多媒体技术，为用户提供沉浸式的并且完全不同的媒体体验。当观看沉浸式媒体内容时，用户可以实时参与媒体(例如，通过佩戴虚拟现实头盔)。沉浸式媒体已成功扩展到诸如电影、游戏、新闻和/或医疗等之类的许多领域。沉浸式媒体内容不同于传统的媒体内容：视觉内容是典型的360度全景视觉数据，其覆盖了大的图像面积和宽广的视野，为用户提供了更多的基于他们自身的喜好调整内容的灵活性。全景视觉数据可以使用从多个摄像机同时收集的数据，或者通过平移和/或旋转操作来拼接来自单个摄像机的多个图像来构成。全景视觉数据也可以人工合成(例如，基于现有的传统的和/或全景图像数据)。全景视觉数据可以被表示为360度球形或映射后的矩形图像(例如，等矩形投影图像)。可替选地，全景视觉数据可以被表示为映射和重新排列之后的矩形图像(例如，立方体映射投影图像)。
[0022]与传统的媒体内容相比，显示沉浸式媒体内容需要较高的带宽。即使在移动网络快速发展的情况下，带宽需求仍然是一个问题。因此，仍然需要提供显示沉浸式媒体内容的有效的方式，同时保持合理的带宽使用。
[0023]本文公开了可在各种实施例中实施的，以向用户提供高质量的沉浸式媒体内容，而不对通信系统施加不合理的带宽要求的技术。沉浸式媒体内容为用户提供360度全景视野，但人类视觉的视野通常在任何给定时间都在120度以内。此外，用户可能希望在狭窄的视野内关注非常具体的特征。因此，不需要在整个全景内容中保持统一的视觉质量。可以根据一组优先级来处理全景媒体内容的不同区域或片段，以考虑用户偏好、场景特征和/或带宽分配，从而在提供良好用户体验的同时最小化带宽消耗。在本专利申请中，优先级被称为视觉内容的等级信息。例如，当用户观看沉浸式音乐会视频时，用户的视角主要集中在舞台上的表演者身上。因此，显示表演者的部分内容可以被给予较高的等级，以向用户提供较高的视觉质量，而外围视图被给予较低的等级。当用户的视点或表演者的位置发生改变时，媒体内容可以被相应地调整，以确保用户的观看区域被给予较高的优先级，从而提供一致的观看体验。
[0024]为了促进全景视觉数据的有效处理，等级信息可以被编码在表示全景视频内容的比特流中。对高分辨率视频日益增长的需求导致了现代技术中无处不在的图像和视频编码技术。例如，视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的容易程度、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，基于ISO/IEC的媒体文件格式、HEVC标准(也被称为H.265或MPEG
‑
H第2部分)、VVC标准(暂时也被称为H.266或MPEG
‑
I第3部分)或其他当前和/或未来的视频编码标准。许多编码标准使用诸如使用帧内预测和/或帧间预测编码技术之类的混合编码，以消除空间冗余和时间冗余。也就是说，使用预测编码技术编码的不同区域彼此相关。在视频编码过程中，编码器首先将图像/帧划分为一个或多个区域，然后对这些区域进行编码。为了便于并行处理，一个区域对应于图像中可以独立解码的一个单元。区域可以是H.264/AVC
标准中的切片组、H.265/HEVC标准中的瓦片、H.266/VVC标准中的子图片、矩形切片或瓦片。
[0025]帧的不同区域和/或片段可以根据不同的等级进行优先级排序，以确保最佳的用户观看体验。图1是根据本技术处理多媒体内容的方法100的流程图表示。在操作110处，方法100包括：针对包括多个片段的全景媒体内容的帧和全景媒体内容的帧的比特流表示之间的转换，确定与该帧相关联的多组等级信息。每组等级信息至少指示用于处理全景媒体内容帧的片段的优先级级别、质量级别或流切换。在操作120处，方法100还包括：基于多个等级参数，执行该转换。全景媒体内容的帧与比特流表示之间的转换包括编码和/或解码过程。在编码时，等级信息可以在全景媒体内容被实时收集和/或根据内容的特征和用户偏好收集时被编码在比特流中。
[0026]在一些实施例中，每组等级信息包括一个整数，该整数指示用于处理全景媒体内容的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理多媒体内容的方法，包括：针对包括多个片段的全景媒体内容的帧和全景媒体内容的比特流表示之间的转换，确定与所述帧相关联的多组等级信息，其中每组等级信息至少指示用于处理所述全景媒体内容的帧的片段的优先级级别、质量级别，或流切换；以及基于多个等级参数，执行所述转换。2.根据权利要求1所述的方法，其中，每组等级信息包括一个整数，所述整数指示用于处理所述全景媒体内容的对应的片段的优先级级别。3.根据权利要求2所述的方法，其中，所述多组等级信息包括连续的或不连续的整数，所述连续的或不连续的整数指示用于处理所述全景媒体内容的多个片段的优先级级别。4.根据权利要求1所述的方法，其中，每组等级信息包括一个或多个字符，所述一个或多个字符指示用于所述全景媒体内容的对应的片段的优先级级别。5.根据权利要求1至4中的任一项或多项权利要求所述的方法，其中，所述帧内的所述多个片段的大小相等。6.根据权利要求5所述的方法，其中，所述多个片段具有矩形形状。7.根据权利要求1至6中的任一项或多项权利要求所述的方法，其中，至少一个片段具有与所述帧内的另一个片段不同的大小。8.根据权利要求7所述的方法，其中，所述至少一个片段具有非矩形形状。9.根据权利要求1至8中的任一项或多项权利要求所述的方法，其中，所述比特流表示包括指示所述多组等级信息的数量的参数。10.根据权利要求1至9中的任一项或多项权利要求所述的方法，其中，每组等级信息包括一个或多个参数，所述一个或多个参数指示所述对应的片段的维度。11.根据权利要求1至10中的任一项或多项权利要求所述的方法，其中，所述帧内的至少一个片段缺少对应的一组等级信息。12.根据权利要求1至11中的任一项或多项权利要求所述的方法，其中，所述比特流表示包括定时信息，所述定时信息指示所述多组等级信息何时适用于所述帧。13.根据权利要求1至11中的任一项或多项权利要求所述的方法，其中，所述比特流表示包括指示一个或多个视点的视点信息，在所述一个或多个视点处，所述多组等级信息适用于所述帧。14.根据权利要求1至13中的任一项或多项权利要求所述的方法，其中，在第一优先级级别具有高于第二优先级级别的值的情况下，对应于所述第一优先级级别的第一片段在对应于所述第二优先级级别的...

【专利技术属性】
技术研发人员：吴钊，吴平，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：