用于视频数据的有效精细粒度伸缩（ＦＧＳ）编码和解码的方法、装置和系统制造方法及图纸

本发明专利技术公开了一种用于基于精细粒度伸缩（ＦＧＳ）信息的有效的和改进的视频数据可伸缩编码和／或解码的方法，装置和系统。根据本发明专利技术的第一方面，一种用于视频数据编码的方法被提出，该方法包括获取所述视频数据；基于所述获取的视频数据产生基本层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并产生对应于所述基本层图像的至少一个的增强层图像，其中，所述至少一个增强层图像包括至少一个精细粒度伸缩（ＦＧＳ）条带，所述至少一个ＦＧＳ条带对应于所述增强层图像中的区域，其中所述ＦＧＳ条带对应的所述至少一个区域不同于所述基础层中所述条带对应的区域，编码所述基础层图像和所述至少一个增强层图像，得到编码视频数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码和解码领域，且尤其涉及基于精细粒度伸 缩的可伸缩视频数据处理。
技术介绍
传统的视频编码标准(例如，MPEG-1, H.261/263/364)结合运 动估计和运动补偿以消除视频帧之间的时间冗余。这些概念对于那 些对视频编码技术有基本了解的技术人员而言是十分熟悉的，将不 进4亍^细4苗述。目前，对H.264/AVC的可伸缩扩展允许精细粒度的可伸缩性， 据此可以通过以10%或更小的增量来增加比特率，使得视频序列的 质量得以提高。根据传统实施，每个FGS(精细粒度伸缩)条带(slice ) 必须与其基本层图像中的对应条带覆盖相同的空间区域，即， 一个FGS条带的开始宏块和宏块数量必须与其基本层图像中的 对应条带相同。因此，每个FGS平面必须具有与其基本层图像相同的条带数量。根据现有技术，每个FGS条带必须与其基本层图像中对应 的条带覆盖相同空间区域这一约束，影响了 NAL (网络提取层)单 元的尺寸，因此无法根据已知的包丢失率和协议数据单元(PDU) 尺寸来进行最优传输。此外，该约束不允许感兴趣区域(ROI) FGS 增强，其中这些感兴趣区域可具有比其他区域更好的质量。
技术实现思路
本专利技术的目的是分别提供用于有效编码或解码的方法、装置和 系统，其克服现有技术的上述问题，并提供有效的和质量上有所改进的编码。本专利技术的主要优势在于FGS条带可以被编码，使得起始宏块位 置和宏块数量的大小可以根据最优传输的需要确定，例如，使得条 带的字节数接近但决不超过协议数据单元(PDU)的字节数，还在 于FGS条带可以被编码，使得它覆盖更为重要的感兴趣区域或其部 分，并且它以高于不重要区域的质量被编码，或者，可选地，仅覆 盖感兴趣区域的FGS条带^C编码和传输。根据本专利技术，每个FGS条带必须与其基本层图像中对应条 带覆盖相同空间区域这一约束被消除。此外，被一个FGS条带覆盖 的区域(即，起始宏块和宏块数量)独立于其基本层图像。相应地， 应用了支持FGS条带的可伸缩视频编码的任何应用，都可受益于本 专利技术的创造性。本专利技术的目的由所附独立权利要求中定义的主题解决。根据本专利技术的第一方面，提供一种用于编码视频数据的方法， 该方法包括获取所述视频数据；基于所述获取的视频数据产生基本 层图像，基本层图像包括至少一个条带，所述条带对应于所述基本 层图像中的区域；并产生对应于所述基本层图像的至少 一 个增强层 图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩 (FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的 区域，其中所述F G S条带对应的至少 一 个区域不同于所述基本层中 的所述条带对应的区域，编码所述基本层图像和所述至少一个增强 层图像得到编码的视频数据。在一个优选实施方式中，所述至少一个FGS条带是如在视频编 码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。在一个优选实施方式中，所述产生所述基本层图像和所述至少 一个增强层图像是基于所述视频数据中的运动信息，所述运动信息 由运动估计过程提供。优选地，至少一个FGS条带对应于图像中的感兴趣区域(ROI)。优选地，所述基本层图像中的条带数量不同于增强层图像中的FGS条带数量。优选地，所述FGS条带被编码，使得其具有根据预定数值的字 节数。根据本专利技术的另 一方面，提供一种用于编码视频数据的可伸缩解码的方法，包括以下步骤获取所述编码^L频数据；识别所述编 码视频数据中的基本层图像和至少 一个增强层图像；所述基本层图 像包括至少一个条带，所述条带对应于所述基本层图像中的区域； 以及对应于所述基本层图像的至少 一个增强层图像，其中所述至少 一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少 一个FGS条带对应于所述增强层图像中的一个区域，其中所述至少区域，以及通过合并所述基本层图像和所述至少 一个增强层图像解 码所述编码视频数据，得到解码视频数据。优选地，所述至少一个FGS条带是如在称为H.264/AVC的视频 编码标准的可伸缩扩展中说明的渐进细化条带。优选地，所述基本层和所述增强层图像基于所述编码视频数据 中的运动信息，所述运动信息在所述编码视频数据中提供。优选地，所述至少一个FGS条带涉及所述编码视频数据中单独 图像的某些感兴趣区域。优选地，所述编码视频数据不包括覆盖非感兴趣区域的FGS条带。优选地，所述至少一个FGS条带具有接近但小于预定数值的字 节数。另 一 方面，提供 一 种根据用于编码的上述方法操作的设备。 另 一方面，提供一种根据用于解码的上述方法操作的设备。 另一方面，提供一种系统，所述系统根据用于编码的上述方法 支持数据传输。另一方面，提供一种系统，所述系统根据用于解码的上述方法 支持数据传输。还提供一种数据传输系统，包括至少一个编码设备，用于执行可伸缩编码视频数据的方法，包括步骤获取所述视频数据；基于 所述获取的视频数据产生基本层图像，基本层图像包括至少一个条 带，所述条带对应于所述基本层图像中的区域；并产生对应于所述 基本层图像的至少一个增强层图像，其中所述至少一个增强层图像 包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带 对应于所述增强层图像中的区域，其中所述至少 一个所述FGS条带 对应的区域不同于所述基本层图像中所述条带对应的区域，编码所 述基本层图像和所述至少 一个增强层图像得到编码视频数据，以及 一种解码设备，用于执行编码视频数据的可伸缩解码方法，包括步 骤获取所述编码视频数据，识別所述编码视频数据中的基本层图 像和至少一个增强层图像；所述基本层图像包括至少一个条带，所 述条带对应于所述基本层图像中的区域；以及对应于所述基本层图 像的至少一个增强层图像，其中所述至少一个增强层图像包括至少 一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所 述增强层图像中的区域，其中所述至少一个所述FGS条带对应的区 域不同于所述基本层中条带对应的区域，以及通过合并所述基本层 图像和所述至少 一 个增强层图像解码所述编码视频数据，得到解码 视频数据。提供一种计算程序产品，包括计算机可读存储结构，其上包含 计算机程序代码，用于由电子设备主控的计算机处理器执行，其中 所述计算机程序代码包括用于执行上述编码方法的指令。还提供一种计算机程序产品，包括计算机可读存储结构，其上 包含计算机程序代码，用于由电子设备主控的计算机处理器执行，其中所述计算机程序代码包括执行上述解码方法的指令。还提供一种实施在载波中和表示指令的计算机数据信号，当其被处理器执行时，导致编码方法的操作被执行。还提供一种用于视频数据的可伸缩编码的模块，包括获取组件，用于获取所述视频数据；产生组件，用于基于获取的视频数据 产生基本层图像；产生组件，用于基于所述获取的视频数据和所述 基本层产生至少一个增强层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；且至少 一个增强层图像 对应于所述基本层图像，其中所述至少一个增强层图像包括至少一 个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述 增强层图像中的区域；以及定义组件，用于以如下方式定义所述一 个或多个产生的增强层FGS条带的所述至少一个，即所本文档来自技高网...

【技术保护点】
一种用于编码视频数据的方法，该方法包括：－获取所述视频数据；－基于所述获取的视频数据产生基本层图像，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及－产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩（ＦＧＳ）条带，所述至少一个ＦＧＳ条带对应于所述增强层图像中的区域，－其中，所述ＦＧＳ条带的至少一个对应的区域不同于基本层图像中的所述条带对应的区域，－编码所述基本层图像和所述至少一个增强层图像，得到编码视频数据。

【技术特征摘要】
【国外来华专利技术】US 2005-4-13 60/671,1551.一种用于编码视频数据的方法，该方法包括-获取所述视频数据；-基于所述获取的视频数据产生基本层图像，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及-产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，-其中，所述FGS条带的至少一个对应的区域不同于基本层图像中的所述条带对应的区域，-编码所述基本层图像和所述至少一个增强层图像，得到编码视频数据。2. 根据权利要求1所述的方法，其中所述至少一个FGS条带是 视频编码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。3. 根据权利要求1所述的方法，其中所述产生所述基本层图像 和所述至少 一 个增强层图像是基于所述视频数据中的运动信息，所 述运动信息由运动估计过程提供。4. 根据权利要求1所述的方法，其中所述至少一个FGS条带对 应于图像中的感兴趣区域(ROI)。5. 根据权利要求1所述的方法，其中所述基本层图像中条带的 数量和增强层图像中FGS条带的数量不同。6. 根据权利要求1所述的方法，其中所述FGS条带被编码，使 得其具有对应于预定数值的字节数。7. —种用于编码视频数据的可伸缩解码的方法，包括步骤 -获取所述编码视频数据；-识别所述编码视频数据中的基本层图像和至少 一 个增强层图所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并且至少一个增强层图像对应于所述基本层图像， 其中所述至少 一 个增强层图像包括至少 一 个精细粒度伸缩(F G S )条 带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带的所述至少 一个对应的区域不同于所述基本 层图像中的所述条带对应的区域，通过合并所述基本层图像、所述至少一个增强层图像解码所述 编码视频数据，得到解码视频数据。8. 根据权利要求7所述的方法，其中所述至少一个FGS条带是 称作H.264/AVC的视频编码标准的可伸缩扩展中说明的渐进细化条 带。9. 根据权利要求7所述的方法，其中所述基本层图像和所述增 强层图像是基于所述编码视频数据中的运动信息，所述运动信息由 所述编码视频数据提供。10. 根据权利要求7所述的方法，其中所述至少一个FGS条带 涉及所述编码视频数据中单独图像的某些感兴趣区域。11. 根据权利要求7所述的方法，其中所述编码^L频数据不包括 覆盖非感兴趣区域的FGS条带。12. 根据权利要求7所述的方法，其中所述至少一个FGS条带 具有接近但小于预定数值的字节数。13. —种根据权利要求1所述的方法操作的设备。14. 一种根据权利要求7所述的方法操作的设备。15. —种用于根据权利要求1所述方法支持数据传输的系统。16. —种用于根据权利要求7所述方法支持数据传输的系统。17. —种数据传输系统，包括至少一个编码设备，用于执行视频 数据的可伸缩编码方法，包括步骤-获取所述视频数据；-基于所述获取的视频数据产生基本层图像，所述基本层图像 包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及-产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括...

【专利技术属性】
技术研发人员：王业奎，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]