多描述编码中的增益控制方法技术

本发明专利技术提出了一种对媒体流进行多描述编码的方法，包括：为媒体流的当前块确定第一数量的复制块；为当前块确定多个互补正向增益因子；以及通过将多个互补正向增益因子应用于第一数量的复制块来确定当前块的第一数量的描述。本发明专利技术也提出了一种对媒体流进行多描述解码的方法，包括：为媒体流的当前块确定来自媒体流的第一数量的描述，其中每个描述包括与当前块对应的缩放块；为第一数量的缩放块确定反向增益因子，以及通过将反向增益因子应用于第一数量的缩放块来确定当前块。

Gain control method in multi-description coding

The present invention proposes a method for multi-description encoding of media streams, including: determining the first number of replication blocks for the current block of media streams; determining multiple complementary forward gain factors for the current block; and determining the first number of descriptions of the current block by applying multiple complementary forward gain factors to the first number of replication blocks. The invention also proposes a multi-description decoding method for media streams, including: determining the first number of descriptions from the media stream for the current block of the media stream, each of which includes scaling blocks corresponding to the current block; determining the reverse gain factor for the first number of scaling blocks; and determining the current block by applying the reverse gain factor to the first number of scaling blocks. \u3002

【技术实现步骤摘要】
多描述编码中的增益控制方法
本公开涉及媒体源信号的多描述编码(MultipleDescriptionCoding，简称MDC)技术，具体领域为采用增益控制方法应用多描述编码技术进行信号预处理。
技术介绍
在过去的几十年中，数据压缩技术的发展降低了媒体(音频、视频或多媒体)数据传输所需的巨大带宽。但数据压缩带来的一个弊端是压缩的媒体数据对数据丢失或噪声很敏感，而数据丢失或噪声在尽力型(best-effort)网络中时有发生。在某些情况下，丢失几个比特的数据可导致整个数据包无法识别。随着终端用户设备和网络环境越来越多样化，在噪声网络上进行可靠的媒体数据传输也变得更具挑战性。为减少噪声网络上媒体传输中的数据丢失，人们已经研发了各种技术，如前向纠错(FEC)、自动重传请求(ARQ)和丢包隐藏(PLC)等。例如，多描述编码(MDC)技术可实现容错性良好的媒体传输。
技术实现思路
下文将阐述在多描述编码中信号预处理(如增益控制)的方法、设备和系统。一方面，本文公开了对媒体流的多个描述进行编码的方法。该方法包括：为媒体流的当前块确定第一数量的复制块；为当前块确定多个互补正向增益因子；以及通过将多个互补正向增益因子应用于第一数量的复制块来确定当前块的第一数量的描述信息。另一方面，本文也公开了一种用于对媒体流的多个描述进行解码的方法。该方法包括在媒体流中为媒体流的当前块确定第一数量的描述，其中每个描述包括对应于当前块的缩放块；确定第一数量的缩放块的反向增益因子，以及通过将反向增益因子应用于第一数量的缩放块来确定当前块。此外，本文还公开了用于实现上述方法的设备装置，即一非暂时性计算机可读介质用于存储指令，计算机系统的处理器执行该指令后可进行处理操作，用于对媒体流的多个描述进行解码。该非暂时性计算机可读介质包括一系列指令，该指令用于通过对从媒体流解码的量化数据进行去量化以便在媒体流中为媒体流的当前块确定第一数量的描述，其中每个描述包括对应于当前块的缩放块；该指令也用于确定第一数量的缩放块的反向增益因子，并且通过将反向增益因子应用于第一数量的缩放块来确定当前块。附图说明在阅读以下详细描述时参考附图将有助于更好地理解本公开的内容。需要强调的是，根据惯例，图示中各个部分并不是按比例绘制的。相反，为表述清楚起见，已对各个不同部分的尺寸进行任意扩大或缩小。图1是根据本公开实施例所绘制的采用MDC方法进行媒体传输的系统示例图。图2是根据本公开实施例所绘制的MDC编码流程示例图。图3是根据本公开实施例所绘制的MDC解码流程示例图。图4是根据本公开实施例所绘制的针对媒体源流进行MDC编码的流程示例图。图5是根据本公开实施例所绘制的针对媒体流进行MDC解码的流程示例图。图6是媒体源流的结构示意图。图7是与媒体源流的当前块对应的复制块的结构示意图。具体实施方式网上多媒体数据共享，诸如视频会议、实时流视频广播或互联网电话服务等，都需要高效率且高保真的媒体数据传输。媒体数据可包括音频数据、视频数据或包含音频序列或视频序列的任何多媒体数据。通常，媒体数据可以以其原始形式存储或者转换成媒体源流。媒体源流可包括时间序列数据(例如：包括多个音频样本的音频序列或者包括多个图像或帧的视频序列)、媒体源流的特征提取的残差(例如：视频序列中当前图像经帧间预测之后的残差图像)或者变换域中媒体源流的等效量(例如：变换和/或量化系数)。可将媒体源流编码(或“压缩”)成媒体比特流以便在网络中传输。随着所接收的连续数据包的数目增加，可以使用某些编码技术(例如：MP-3和MP-4)来改进渐进传输中的解码质量。如果能收到所有之前的数据包，则可以实现编码质量的提高。然而，一旦数据包的接收顺序出现混乱(例如：数据包丢失或接收延迟)，那么用于这些编码技术的解码过程可能会被中断，直到接收到丢失的数据包后才能继续。在这种情况下，解码器端可能会出现过长的延迟。多描述编码(MDC)是指可以将媒体(如音频、视频或多媒体)流分成用于编码和解码的多个子流(称为“描述”)的技术。每个描述可提供媒体源流的近似值。每个描述具有一定的保真度或置信度用于表示媒体源流。MDC兼容解码器可解码一个或多个描述或描述的子集来重建媒体源流。在接收多个描述的解码器中，可以基于多个描述使用媒体源流的近似值来重建媒体流，其质量可优于基于单个描述重建的媒体流。接收到的描述越多，解码媒体流可以达到的保真度就越高。MDC的信号预处理技术致力于提高MDC编码质量并降低计算成本。MDC通过引入一定程度的冗余以减轻丢包带来的影响，由此可提供媒体流传输的容错能力。在MDC中，描述的任意子集可以用来重建媒体流。当出现网络拥塞或丢包时，可以仅损失一定的质量(如分辨率或保真度)而保证媒体流的重建不被中断，而网络拥塞或丢包在尽力型网络中也是常见现象。在某些情况下，媒体流的质量大致与解码器维持的数据速率成正比。MDC技术的发展主要分为两类，各有侧重点：第一类侧重于设计特定的变换或滤波器组以获得MDC属性，可以在变换阶段之后和量化阶段之前执行MDC技术；另一类则侧重于设计可满足MDC需求的特定量化器，可以在变换阶段之后的量化阶段之后执行MDC技术。本公开中公开的MDC处理方法、设备和系统主要用于信号预处理，并且也可以应用于信道编码、信源编码或同时应用于这两种编码。根据本公开的实施例，可以在量化阶段之前使用MDC技术对信号进行预处理(例如：信号划分和增益控制)。在一些示例中，可以在变换阶段之前执行基于MDC的信号预处理，然后进入量化阶段；在另一些示例中，也可以在变换阶段之后和量化阶段之前执行基于MDC的信号预处理；在又一实例中，也可以在编码过程中的量化阶段之前执行基于MDC的信号预处理，而无需变换阶段。根据本公开的实施例，所公开的方法、设备和系统可适用于不同的数据类型或计算环境，诸如整数、定点或浮点等。另外，本文所公开的用于MDC编码和解码的方法、设备和系统可以在任何计算系统中用作软件或硬件模块，并且可以针对任何图像、音频、视频或其他有限信号动态范围内的数字信号系统，包括但不限于8位或10位图像或视频，8位、16位或24位数字音频信号，32位浮点数字音频信号或小位(例如：2比特)数字信号。应该注意的是，本公开的应用和实现并不仅限于上述示例，并且采用现成技术即可在任何计算环境中实现本公开的实现方式的变体、变化或修改，以最大程度减少量化错误。例如，可以在量化之前获得MDC属性。MDC属性可包含多个增益因子，该增益因子根据媒体源流的特性(例如：能量特性或统计特性)而确定。媒体源流可以被复制以形成多个原始描述，然后分别加以应用增益因子以形成多个缩放描述。多个经缩小的描述可被量化以形成比特流进行传输。增益因子可用于控制编码媒体比特流的容错能力，从而提高编码质量并降低计算成本。图1是根据本公开实施例所绘制的采用MDC方法进行媒体传输的系统100示例图。如图1所示，系统100可包含多个设备和网络，诸如设备102、设备104和网络106。该设备可以是微型计算机、大型计算机、超级计算机、通用计算机、特殊用途或专用计算机、集成计算机、数据库计算机、远程服务器计算机、个人计算机、笔记本电脑、平板电脑、手机、个人数据助理(PDA)、可穿戴计算设备等一台或多台计算本文档来自技高网...

【技术保护点】
1.为媒体流进行多描述编码的方法，包括：为媒体流的当前块确定第一数量复制块；为当前块确定多个互补正向增益因子；以及通过将多个互补正向增益因子应用于第一数量复制块来确定当前块的第一数量描述。

【技术特征摘要】
2017.08.17 US 15/679,5131.为媒体流进行多描述编码的方法，包括：为媒体流的当前块确定第一数量复制块；为当前块确定多个互补正向增益因子；以及通过将多个互补正向增益因子应用于第一数量复制块来确定当前块的第一数量描述。2.根据权利要求1所述方法，还包括：通过量化第一数量描述来产生量化数据。3.根据权利要求1所述方法，多个互补正向增益因子包括一个主要正向增益因子α0，其取值范围在0与1之间，和一个次要正向增益因子α1，其取值范围在0与1之间，且α0大于α1。4.根据权利要求3所述方法，满足下列等式确定α0和α1：α0+α1(M-1)＝1其中M为第一数量。5.根据权利要求4所述方法，满足下列算式确定α0：6.根据权利要求3所述方法，当前块包括第一数量的子块，并且每个子块包括第二数量的样本，并且其中每个复制块包括第一数量的复制子块，且每个复制子块包括第二数量的复制样本。7.根据权利要求6所述方法，通过将多个互补正向增益因子应用于第一数量的复制块来确定当前块的第一数量的描述，包括：通过使用α0对复制块的复制子块进行缩小，并且使用α1对复制块的其他复制子块进行缩小，来确定第一数量的复制块中的一个复制块的描述信息，其中第一数量的复制块中经α0缩小的各个复制子块的位置互不相同。8.根据权利要求1所述方法，其中每个描述都能够以一定的置信度被独立解码，并且第一数量的描述的子集也能够以不同于上述置信度的一定置信度被联合解码，其中该子集包括第一数量的描述中的至少一个描述，并且子集越大则其解码的置信度越高。9.一种为媒体流进行多描述解码的方法，包括：为媒体流的当前块确定媒体流的第一数量的描述，其中每个描述包括对应于当前块的缩放块；确定第一数量的缩放块的反向增益因子；以及通过将反向增益因子应用于第一数量的缩放块来确定当前块。10.根据权利要求9所述方法，从媒体流中确定第一数量的描述，包括：通过对从媒体流解码的量化数据进行去量化来为当前块确定第一数量的描述。11.根据权利要求9所述方法，当前块包括第二数量的子块，并且每个子块包括第三数量的样本，其中每个缩放块包括第二数量的缩放子块，且每个缩放子块包括第三数量的缩放样本。12.根据权利要求11所述方法，其中反向增益因子包括：对应于主要正向增益因子α0的主要反向增益因子β0，和对应于次要正向增益因子α1的次要反向增益因子β1，以及将α0和α1分别应用于第一数量的缩放块上以对当前块进行编码。13.根据权利要求12所述方法，通过将反向增益因子应用于第一数量的缩放块来确定当前块...

【专利技术属性】
技术研发人员：高泽华，陈若非，姚斯强，钱世锷，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：上海,31