媒体文件中的兴趣区域可缩放性信息的信号发送制造技术

一种用于以文件格式用信号发送ＲＯＩ可缩放性信息的方法。本发明专利技术提供以文件格式用信号高效发送ＲＯＩ可缩放性信息，其中发信号包括提供ＲＯＩ的几何信息和用以标识各编码数据单元在等级或者层内关联的ＲＯＩ的指示。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术主要地涉及可缩放视频编码和解码。具体而言，本专利技术涉及存储包括兴趣区域(ROI)可缩放层的可缩放数据流。
技术介绍
这一节旨在于提供在权利要求书中记载的本专利技术的背景或者 上下文。这里的描述可以包括能够探求的概念，但是并非必然是 先前已经构思或者探求的概念。因此，除非这里另有指明，在这 一节中描述的内容不是本申请中的说明书和权利要求书的现有技 术，也不因为包含于这一节中而被承认是现有技术。多媒体应用包括本地回放服务、流发送或者按需服务、对话服 务和广播/多播服务。在多媒体应用中涉及到的技术除了其他技术 之外还包括媒体编码、存储和发送。已经为不同技术指定不同标 准。视频编码标准包括ITU-T H.261、 ISO/IEC MPEG-1 Visual、 ITU-T H.262或者ISO/IEC MPEG匿2 Visual、 ITU-T H.263、 ISO/IEC MPEG-4 Visual和ITU-T H.264 (也称为ISO/IEC MPEG-4 AVC )。此外，关于新视频编码标准的开发目前正在付之努力。在开发中 的一个此类标准是将成为对H.264/AVC的可缩放扩展的可缩放视 频编码(SVC)标准。可缩放视频编码对于在利用如下解码器的系统中使用的许多 多媒体应用和服务而言是合乎需要的特征，这些解码器具有大范 围的处理能力、显示尺寸和连接带宽等。已经提出若干类型的视 频可缩放性，比如时间、空间和质量可缩放性。可以按降级的回放视觉质量对可缩放视频位流的 一 部分进行提取和解码。可缩放视频位流包含不可缩放基本层和一个或者多 个增强层。增强层可以增强由下层或者其部分代表的视频内容的 时间分辨率(即，帧速率)、空间分辨率或者简单地为质量。在一些情况下，可以在某个位置之后或者甚至在任意位置截取 增强层中的数据，其中各截取位置可以包括代表越来越增强的视 觉质量的附加数据。这样的可缩放性称为细颗粒(颗粒度)可缩放性(FGS ) 。 FGS概念首先引入到MPEG-4 Visual标准并且也是 SVC标准的一部分。与FGS对照，粗颗粒可缩放性(CGS)是指 由没有提供细颗粒可缩放性的质量增强层提供的可缩放性。在JVT-S202的Joint Scalable Video Model JSVM-6: Joint Draft 6 with proposed changes(第 19届 Joint Video Team Meeting, Geneva, Switzerland, 2006年4月)中描述了 SVC的最新草案规范， 通过整体引用将该规范结合于此。SVC利用H.264/AVC中已经可用于时间可缩^L性的^L制。这 一机制称为分级B画面编码结构。因此，SVC中所用机制也完 全受H.264/AVC支持，而可以通过使用与子序列有关的补充增强 信息(SEI)消息来实现发信号。对于以空间和质量(SNR)可缩放性的形式提供CGS可缩放 性的机制，使用一种常规分层编码技术。除了新的层间预测方法 之外，这一技术类似于在更早标准中使用的技术。可以层间预测 的数据包括内紋理、运动和残留数据。层间运动预测包括块编码 模式、头部信息等的预测。在SVC中，可以根据除了当前重建的 层或者下 一层之外的层来预测数据。SVC包括称为单环解码的相对新概念。通过使用受约束的内紋 理预测模式来实现单环解码，其中层间内紋理预测可以应用于宏 块(MB),就这些MB而言基本层的对应块位于内MB中。同时， 基本层中的那些内MB使用受约束的内预测。在单环解码中，解 码器需要仅针对预期回放的可缩放层(称为预期层)来执行运动 补偿和全画面重构，由此极大地减少解码复杂性。除了预期层之外的所有层无需完全地加以解码，因为没有用于层间预测(无论 是层间内紋理预测、层间运动预测或者层间残留预测)的MB的 所有或者部分数据对于重构预期层而言是不需要的。当与更旧的视频压缩标准相比时，已经推广svc的空间可缩放性以使基本层能够是增强层的修剪和缩放版本。也已经调整量化和熵编码模块以提供FGS能力。FGS编码模式称为渐进求精， 其中通过反复地减少量化步长尺寸并且应用与子位平面编码相似 的循环熵编码对变换系数的相继求精编码。当前SVC草案中的可缩放层结构的特征在于三个变量。这些 变量是时间—级、依赖一id和质量一级。时间—级变量用来表明时间 可缩放性或者帧速率。包括时间_级值较小的画面的层具有比包括 时间—级较大的画面的层更小的帧速率。依赖—id变量用来表明层 间编码依赖分级。在任何时间位置，依赖—id值较小的画面可以用 于如下层间预测，该层间预测用于具有较大依赖—i d值的画面的编 码。质量一级变量用来表明FGS层分级。在任何时间位置并且就相 同的依赖—id值而言，质量_级值等于QL的FGS画面将质量—级值 等于QL-1的FGS画面或者基本质量画面(即，当QL-1=0时的非 FGS画面)用于层间预测。文件格式在多媒体内容产生、操控、发送和消耗的链条中是一 个重要元素。在编码格式与文件格式之间存在差异。编码格式涉 及将内容信息编码成位流的具体编码算法的动作。文件格式是指 以如下方式组织生成的位流，使得可以访问它以便进行局部解码 和回放、将它作为文件来传送或者用流来发送它，所有这些都利 用各种存储和传送架构。另外，文件格式可以有助于交换和编辑 媒体。例如，许多流应用要求服务器上的预编码位流伴有元数据一 存储于提示轨道中一该元数据辅助服务器用流发送视频到客户 端。用于提示轨道元数据的例子包括表明同步点的定时信息以及 包括分组化提示。此信息用来减少服务器的工作负荷并且使终端 用户体验最大化。可用媒体文件格式标准包括ISO文件格式(ISO/IEC 14496-12 ) 、 MPEG-4文件格式(ISO/IEC 14496-14 ) 、 AVC文件 格式(ISO/IEC 14496-15 )和3GPP文件格式(3GPP TS 26.244 )。 MPEG中也有用于发展SVC文件格式的项目，该文件格式将成为 对AVC文件格式的修改。SVC文件格式正在成为对AVC文件格式的扩展。SVC文件格 式要解决的 一 个主要问题在于高效地处理对可缩放视频流的存 储、提取和缩放性供应。在正在进行的设计阶段中观察到多个约 束。首先，包含可缩放位流的文件的大小应当尽可能小，而又仍 然允许对属于不同层的NAL单元的轻量提取。这要求避免对媒体 数据的多个表示和元数据的高效表示的冗余存储。其次，服务器 实施需要充分地轻量，从而无需过于复杂的元数据设计。这两个 方面均与元数据结构化紧密相关，这因而在标准化过程中已经受 到密切关注。存在用以组织SVC文件的两种主要机制。首先，分 组概念、即以ISO基本媒体文件格式的样本组结构可以用来表明 画面和可缩放层的关系。其次，可以定义对位流的子集进行引用的数个轨道，各轨道与形成回放点的可缩放层的特定组合对应。图1描绘了 SVC媒体数据如何存储于文件中。各访问单元包 括一个样本。多个样本形成组块。实际内容通常包括许多组块。 文件读取器通常一次读取和处理一个组块。如果预期回放的分层 结构并不需要所有访问单元(对于时间可缩放性)和/或各所需访 问单元中的所有画面(对于本文档来自技高网...

【技术保护点】
一种用于在容器文件中存储可缩放视频位流的方法，所述可缩放视频位流包括至少一个完全基于画面的可缩放层和至少一个兴趣区域（ＲＯＩ）可缩放层，所述方法包括：　通过第一标识符和第二标识符来标识各ＲＯＩ可缩放层，所述第一标识符标识完全基于画面的 可缩放层，而所述第二标识符标识所述完全基于画面的可缩放层内的ＲＯＩ可缩放层。

【技术特征摘要】
【国外来华专利技术】US 2006-7-12 60/830,5391. 一种用于在容器文件中存储可缩放视频位流的方法，所述可缩放视频位流包括至少一个完全基于画面的可缩放层和至少一个兴趣区域(ROI)可缩放层，所述方法包括通过第一标识符和第二标识符来标识各ROI可缩放层，所述第一标识符标识完全基于画面的可缩放层，而所述第二标识符标识所述完全基于画面的可缩放层内的ROI可缩放层。2. 根据权利要求1所述的方法，其中所述第一标识符和所述第 二标识符存储于所述容器文件中。3. 根据权利要求2所述的方法，其中根据ROI可缩放层的位置、 形状和大小中的至少 一 个导出的几何信息存储于所述容器文件中。4. 根据权利要求2所述的方法，其中根据ROI可缩放层的位置 来导出所述第二标识符。5. 根据权利要求2所述的方法，其中所述可缩放视频位流中的 编码数据单元到ROI可缩放层的映射存储于所述容器文件中。6. 根据权利要求2所述的方法，其中根据可缩放视频编码(SVC ) 文件格式标准来构造所述文件容器。7. 根据权利要求6所述的方法，其中以ScalableTierEntry()数据 结构用信号发送所述第 一 标识符。8. 根据权利要求7所述的方法，其中以ScalableTierEntry()数据 结构用信号发送根据ROI可缩放层的位置、形状和大小中的至少一 个导出的几何信息。9. 根据权利要求8所述的方法，其中使用定时元数据用信号发 送编码数据单元到所述第二标识符的映射。10. 根据权利要求8所述的方法，其中通过框用信号发送编码 数据单元到所述第二标识符的映射。11. 根据权利要求8所述的方法，其中使用样本组用信号发送 编码数据单元到所述第二标识符的映射。12. —种在计算机可读介质中实施的计算机程序产品，用于在 容器文件中存储可缩放视频位流，所述可缩放视频位流包括至少一 个完全基于画面的可缩放层和至少一个兴趣区域(ROI)可缩放层，所述计算机程序产品包括用于通过...

【专利技术属性】
技术研发人员：YK王，M安尼克塞拉，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]