视频编码制造技术

一种发送设备，其用于生成要通过网络发送至接收设备的视频的多个经编码的部分，所述发送设备被配置为：通过反馈信道从所述接收设备接收错误消息，所述错误消息指示所述多个经编码的部分中已经在所述接收设备处丢失的至少一个经编码的部分；响应于所述接收所述错误消息而编码恢复部分；以及通过所述网络将所述恢复部分发送至所述接收设备；其中：所述错误消息包括这样的信息，所述信息涉及在所述接收设备处成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。

video coding

A transmission device for generating a plurality of encoded portions of a video to be sent to the receiving device through a network, which is configured to receive error messages from the receiving device through a feedback channel indicating that the plurality of encoded portions of the portion have been lost at the receiving device. At least one encoded part; encodes the recovery part in response to the received error message, and sends the recovery part through the network to the receiving device; the error message includes such information, and the information relates to the decode successfully decoded at the receiving device. The recovery part is encoded relative to the decoded part.

【技术实现步骤摘要】
【国外来华专利技术】视频编码
技术介绍
在图1中示意性地示出了要编码的视频数据的流。所述流包括多个帧(F)101、102、103，每个帧表示在不同的相应时刻的视频图像。如本领域技术人员所熟知的，出于编码的目的，每个帧(F)101、102、103被划分成多个部分并且每个部分还被细分为更小的子部分，每个部分或子部分包括多个像素。例如，根据一种术语，要编码的视频流中的每个帧被划分为包括多个像素的宏块(MB)104(例如，每个宏块104可以是8×8像素的区域)。发射机处的编码器对视频数据进行编码以用于通过基于分组的网络发送至接收机。接收机处的解码器接着能够解码经编码的视频数据。针对所采用的编码/解码方法的一般术语是编码解码器。在一些系统中，接收机处的解码器可以被布置为经由反馈信道(优选地经由相同的基于分组的网络)向发射机的编码器发送反馈。视频编码解码器的目标是降低发送视频信号所需的比特率，同时保持最高的可能质量。该目标通过利用统计冗余度(视频信号中的相似性)以及(与人类视觉系统的敏感度相关的)感知不相干性来实现。大多数当今的视频编码解码器是基于这样的架构的，其包括从其他像素块对像素块的预测，预测残差的变换，变换系数的量化，以及量化指标的熵编码。这些步骤有助于降低冗余度和不相关性。预测通常能够从不同于当前帧的视频帧中的像素(帧间预测)以及从相同帧中的像素(帧内预测)来执行。也就是说，帧内编码帧是仅仅使用该帧本身中的信息来编码的。例如，可以使用诸如离散余弦变换之类的已知技术来利用跨帧图像的空间冗余度。以该方式编码的帧被称为I-帧。另一方面，帧间编码的帧是使用来自自身以外的帧的信息编码的。也就是说，帧间编码的帧仅仅可以指示帧与先前的帧之间的差异。因此，帧间编码的帧与编码绝对像素值相比需要较少的比特来编码，因此节省了比特率。帧间编码的帧可以被称为P-帧(尽管其他类型的帧间编码的帧存在并且是本领域已知的，但为了清楚起见在本文中仅提及了P帧)。帧内预测编码通常比帧间编码需要更多的比特，但对比编码绝对值仍然表现出节省。针对视频的合适的帧间和帧内编码技术的细节是本领域技术人员熟知的。在常规系统中，可以使用反馈信道以使得发射机上的编码器能够确定帧在接收机处被经历为丢失。有两种方式可以实现这种效果。第一，在负反馈方案中，发射机可以将帧在接收机处被经历为丢失的信号(丢失报告)发送回发射机上的编码器。第二，在正反馈方案中，反馈信道也可以用于将向编码器发送回帧在接收机处被成功接收的信号(确认)，因此编码器可以在其没有接收到确认时确定帧被丢失。通常而言，丢失的帧引起经解码的视频中的严重失真，除非采取措施否则所述失真将长时间持续。一种这样的动作是迫使编码器生成“恢复帧”，所述恢复帧在被接收并解码时将停止错误传播。帧可以在其没有被成功接收和/或没有被接收机成功解码时被认为在接收机处“丢失”。因此，帧可能由于网络上的分组丢失而在接收机处“丢失”。可替代地，帧可能由于帧数据的损坏而在接收机处“丢失”(即，帧被接收机接收，但是被接收的帧包含导致其无法被解码的数据错误)，并且该损坏无法使用纠错来纠正。通常而言，帧(或者更一般地部分帧)可以在其还没有在接收机处被接收并解码的情况下被认为在接收机处丢失。在负反馈方案中，恢复帧是关键帧(即，全部被内部编码)。在正反馈方案中，编码器被通知关于每个成功接收的帧并且因此具有与被解码器成功解码的最后帧相关的信息。因此，在该方案中，恢复帧也可以是关于已知在解码器中可用的无错帧(之所以已知是无错的是因为其自身已经被确认为被接收并且其历史中相关的任何其他内容已经被确认)被帧间编码的帧。与前者相比，后者通常在给定质量下得出较低的比特率。与发送恢复帧相关联的缺陷是比特率过高(速率尖峰)或者可替代地是源编码失真的增加。比特率过高进而会引起新的损失或者迫使编码器掉帧，并且急剧增加的源编码失真可能在感知上是令人困扰的。
技术实现思路
如所提及的，反馈信道例如可以用于以信号通知帧在接收机处丢失。通常而言，丢失的帧引起解码视频的严重失真，除非采取措施否则所述失真会长时间持续。本专利技术认识到，能够在无需发送完全帧内编码的关键帧的情况下使能在负反馈方案中恢复将会是有利的。为了缓解前面所提及的问题，本专利技术提供了一种发送设备，其用于生成要通过网络发送至接收设备的视频的多个经编码的部分，所述发送设备被配置为：通过反馈信道从所述接收设备接收错误消息，所述错误消息指示所述多个经编码的部分中还没有在所述接收设备处被接收且被解码的至少一个经编码的部分；响应于所述接收所述错误消息而编码恢复部分；以及通过所述网络将所述恢复部分发送至所述接收设备；其中：所述错误消息包括这样的信息，所述信息涉及能够从在所述接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。本专利技术还提供了一种接收设备，其用于通过网络从发送设备接收视频的多个经编码的部分，所述接收设备被配置为：生成错误消息，所述错误消息指示视频的所述多个经编码的部分中还没有在所述接收设备处被接收且被解码的至少一个经编码的部分；通过反馈信道将所述错误消息发送至所述发送设备；通过所述网络从所述发送设备接收恢复部分；其中：所述错误消息包括这样的信息，所述信息涉及能够从在所述接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。本专利技术还提供了一种用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分的服务器，所述服务器包括一个或多个服务器单元，所述服务器单元被配置为：通过反馈信道从多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据和经解码部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述经解码部分数据指示能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；基于所接收的错误消息来生成集合错误消息；将所述集合错误消息发送至所述发送设备；通过所述网络从所述发送设备接收恢复部分；以及将所述恢复部分发送至所述多个接收设备，其中：所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是所述多个经编码的部分中的基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分而被编码的所述集合目标部分。在实施例中，多个经编码的部分中的至少一个经编码的部分被标记以用于在接收设备处存储，并且所述经解码的部分是从所述多个经编码的部分中的所述至少一个经编码的部分解码的经解码的部分。在实施例中，多个经编码的部分中的至少一个经编码的部分被存储在接收设备处的缓冲器中，并且所述经解码的部分是从所述多个经编码的部分本文档来自技高网...

【技术保护点】
一种服务器，其用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分，所述服务器包括一个或多个服务器单元，被配置为：通过反馈信道从所述多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据以及已接收部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述已接收部分数据指示能够从在所述多个接收设备中的相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；基于所接收的错误消息来生成集合错误消息；基于所述集合错误消息来获得恢复部分；其中：所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是所述多个经编码的部分中的基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分而被编码的所述集合目标部分。...

【技术特征摘要】
【国外来华专利技术】2015.09.08 US 14/847,3751.一种服务器，其用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分，所述服务器包括一个或多个服务器单元，被配置为：通过反馈信道从所述多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据以及已接收部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述已接收部分数据指示能够从在所述多个接收设备中的相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；基于所接收的错误消息来生成集合错误消息；基于所述集合错误消息来获得恢复部分；其中：所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是所述多个经编码的部分中的基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分而被编码的所述集合目标部分。2.根据权利要求1所述的服务器，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，或者是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的所述最新近的一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分，或者是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的所述最不新近的一个经解码的部分相比更不新近的一个经编码的部分。3.根据权利要求2所述的服务器，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分。4.根据任一前述权利要求所述的服务器，其中，所述集合目标部分是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的至少一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的至少一个经解码的部分相比更不新近的一个经编码的部分。5.根据任一前述权利要求所述的服务器，其中，所述多个经编码的部分中的至少一个经编码的部分被标记以用于存储在每个接收设备处，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在相应的接收设备处存储的所述至少一个经编码的部分成功地解码的经解码的部分。6.根据权利要求1-4中的任一项所述的服务器，其中，所述多个经编码的部分中的至少一个经编码的部分被存储在每个接收设备处的相应的缓冲器中，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在所述相应的缓冲器处存储的所述至少一个经编码的部分成功地解码的经解码的部分。7.根据任一前述权利要求所述的服务器，其中，视频的所述多个经编码的部分是所述视频的多个经编码的帧。8.一种系统，其包括根据任一前述权利要求所述的服务器以及发送设备；其中，所述发送设备被配置为：从所述服务器接收所述集合错误消息；响应于所述的接收所述错误消息而编码...

【专利技术属性】
技术研发人员：李明杰，A·卢，P·卡尔松，M·D·尼尔松，S·萨布林，S·西尔金，D·Y·赵，M·赫门多夫，S·尼基弗罗夫，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US