使用预测数据精选进行视频编码的方法和装置制造方法及图纸

提供了一种使用预测数据精选来进行视频编码的方法和装置。一种装置包括：编码器（３００），用于对图片的图像区域进行编码。所述编码器（３００）具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器（３３３）。所述预测精选滤波器（３３３）使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。

【技术实现步骤摘要】
【国外来华专利技术】对相关申请的交叉引用本申请要求于2006年10月18日提交的美国临时申请序列号60/852,529的优先权，其全部内容通过引用而被合并于此。本申请还要求于2007年4月13日提交的美国临时申请序列号60/911,536的优先权，其全部内容也通过引用而被合并于此。
本原理一般涉及视频编码和解码，更具体而言，涉及使用预测数据精选(prediction data refinement)进行视频编码的方法和装置。
技术介绍
视频编码技术可以使用基于预测的编码，以便效率较高。以块为基础，根据已经解码的数据来预测给定帧的数据，也可以根据其他参考帧(“帧间”预测)或根据同一帧内已经解码的数据(“帧内”预测)来预测该数据。然后，典型地变换、量化和编码残差，其中，从原始数据中减去预测后生成的残差。适当选择在给定帧的给定空间位置使用的预测类型，以便最终编码尽可能高效。该选择依赖于失真率(rate distortion)测量的优化。事实上，通常在所有可能的预测模式中选择具有最低比特率且引起最低失真的预测器。在某些情况下，就失真率而言的最佳预测器可能不能给出精确的预测数据，然后产生必须进行编码的大量残差。不精确性可能是由于导致预测器选择在比特率成本和失真之间做出折衷的等级约束，或者可能仅仅是因为可用的预测模式不太合适。国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟电信标准局(ITU-T)H.264标准(此后，称为“MPEG-4 AVC标准”)中的帧内预测是其中在给定块内、利用来自其解码的相邻块的信息、使用低通算子来预测数据的例子。然而，这样的预测器不能处理高频和纹理数据。例如，在诸如遵从MPEG-4 AVC标准的那些视频编码器/解码器的本领域视频(art video)编码器/解码器的某些情况下，在编码/解码过程中利用使用所谓的“去块滤波器”的预测精选。可以通过对重构帧进行操作来作为编码环中的最后一步的滤波器来减少由基于变换的残差编码而引入的编码不精确性。已提出了其他环内(in-loop)滤波器以克服MPEG-4 AVC标准去块滤波器的限制。通常，这些滤波器被应用于重构的图片上。重构之后的环内滤波允许恢复在残差编码中的量化步骤期间丢失的部分信息。然而，当其被应用到重构图像上时，不期望帮助减少当前图片中要被编码的信息量。为了减少要被编码的信息量，可以改进预测信号。传统上，这已通过包含日益精密复杂的预测模型而进行了。其中的某些可以被称作“修补(inpainting)算法”的用于估计遗失数据的算法，可能基于例如扩散原理和/或纹理生长、或者非线性稀疏分解去噪。这些算法可能试图基于已知的相邻数据来估计遗失数据的值。事实上，人们可以想象在图片内具有遗失块，并且通过根据在某个相邻块内可获得的数据来估计遗失块而恢复该遗失块。这些算法通常假设-->不具备关于遗失的数据的知识，即，它们仅依赖于相邻可获得的数据来估计遗失数据。转到图1，由参考数字100来一般地指示能够依据MPEG-4 AVC标准执行视频编码的视频编码器。视频编码器100包括帧排序(ordering)缓冲器110，该帧排序缓冲器110具有与组合器185的非反相输入进行信号通信的输出。组合器185的输出连接到变换器和量化器125的第一输入以进行信号通信。变换器和量化器125的输出连接到熵编码器145的第一输入以及反向变换器和反向量化器150的第一输入以进行信号通信。熵编码器145的输出连接到组合器190的第一非反相输入以进行信号通信。组合器190的输出连接到输出缓冲器135的第一输入以进行信号通信。编码器控制器105的第一输出连接到帧排序缓冲器110的第二输入、反向变换器和反向量化器150的第二输入、图片类型判定模块115的输入、宏块类型(MB-类型)判定模块120的输入、帧内预测模块160的第二输入、去块滤波器165的第二输入、运动补偿器170的第一输入、运动估计器175的第一输入以及参考图片缓冲器180的第二输入以进行信号通信。编码器控制器105的第二输出连接到补充增强信息(SEI)插入器130的第一输入、变换器和量化器125的第二输入、熵编码器145的第二输入、输出缓冲器135的第二输入以及序列参数集(SPS)和图片参数集(PPS)插入器140的输入以进行信号通信。图片类型判定模块115的第一输出连接到帧排序缓冲器110的第三输入以进行信号通信。图片类型判定模块115的第二输出连接到宏块类型判定模块120的第二输入以进行信号通信。序列参数集(SPS)和图片参数集(PPS)插入器140的输出连接到组合器190的第三非反相输入以进行信号通信。反向量化器和反向变换器150的输出连接到组合器119的第一非反相输入以进行信号通信。组合器119的输出连接到帧内预测模块160的第一输入和去块滤波器165的第一输入以进行信号通信。去块滤波器165的输出连接到参考图片缓冲器180的第一输入以进行信号通信。参考图片缓冲器180的输出连接到运动估计器175的第二输入以进行信号通信。运动估计器175的第一输出连接到运动补偿器170的第二输入以进行信号通信。参考图片缓冲器180的输出连接到运动补偿器170的第三输入以进行信号通信。运动估计器175的第二输出连接到熵编码器145的第三输入以进行信号通信。运动补偿器170的输出连接到切换器197的第一输入以进行信号通信。帧内预测模块160的输出连接到切换器197的第二输入以进行信号通信。宏块类型判定模块120的输出连接到切换器197的第三输入以进行信号通信。切换器197的第三输入确定切换器的“数据”输入(与控制输入、即第三输入比较)是由运动补偿器170提供的还是由帧内预测模块160提供的。切换器197的输出连接到组合器119的第二非反相输入和组合器185的反相输入以进行信号通信。帧排序缓冲器110和编码器控制器105的输入可用作编码器100的输入，用于接收输入图片101。此外，补充增强信息(SEI)插入器130的输入可用作编码器100的输入，用于接收元数据。输出缓冲器135的输出可用作编码器100的输出，用于输出比特流。转到图2，由参考数字200一般地指示能够依据MPEG-4 AVC标准执行视频解码的-->视频解码器。视频解码器200包括输入缓冲器210，该输入缓冲器210具有连接到熵解码器245的第一输入以进行信号通信的输出。熵解码器245的第一输出连接到反向变换器和反向量化器250的第一输入以进行信号通信。反向变换器和反向量化器250的输出连接到组合器225的第二非反相输入以进行信号通信。组合器225的输出连接到去块滤波器265的第二输入和帧内预测模块260的第一输入以进行信号通信。去块滤波器265的第二输出连接到参考图片缓冲器280的第一输入以进行信号通信。参考图片缓冲器280的输出连接到运动补偿器270的第二输入以进行信号通信。熵解码器245的第二输出连接到运动补偿器270的第三输入和去块滤波器265的第一输入以进行信号通信。熵解码器245的第三输出连接到解码器控制器205的输入以进行信号通信。解码器控制器205的第一输出连接到熵解码本文档来自技高网...

【技术保护点】
一种装置，包括：编码器（３００），用于对图片的图像区域进行编码，所述编码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器（３３３），其中，所述预测精选滤波器（３３３）使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。

【技术特征摘要】
【国外来华专利技术】US 2006-10-18 60/852,529;US 2007-4-13 60/911,5361.一种装置，包括：编码器(300)，用于对图片的图像区域进行编码，所述编码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(333)，其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。2.根据权利要求1所述的装置，其中，所述图像区域对应于关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层的任意一个。3.根据权利要求1所述的装置，其中，根据与图像区域和相邻区域中的至少一个对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器(333)。4.根据权利要求3所述的装置，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。5.根据权利要求1所述的装置，其中，所述预测精选滤波器(333)被选择性地应用于图片的第二通过编码中，而不应用于图片的第一通过编码中。6.一种方法，包括：通过使用预测精选滤波器(333)来精选关于图像区域的帧内预测和帧间预测中的至少一个来编码图片图片的图像区域，其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。7.根据权利要求6所述的方法，其中，图像块对应于关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层的任意一个。8.根据权利要求6所述的方法，其中，根据与图像块(820、830、835、840)对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器。9.根据权利要求8所述的方法，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。10.根据权利要求6所述的方法，其中，所述预测精选滤波器被选择性地应用于图片的第二通过编码中，而不应用于图片的第一通过编码中。11.一种装置，包括：解码器(400)，用于对图片的图像区域进行解码的，所述解码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(433)，其中，所述预测精选滤波器(333)使用先前解码的数据来精选关于图像区域的帧间预测，所述先前解码的数据对应于关于所述图像区域的相邻区域内的像素值。12.根据权利要求11所述的装置，其中，根据与图像块对应的...

【专利技术属性】
技术研发人员：谢伊哈诺伊，奥斯卡迪沃拉埃斯科达，尹澎，克里斯蒂娜戈米拉，
申请(专利权)人：汤姆森特许公司，
类型：发明
国别省市：FR[法国]