使用元数据的用于时间缩放的边缘增强制造技术

描述了用于后处理图像的非关键帧的方法。根据所述方法，使用相邻关键帧的信息来更新重构非关键帧。还描述了用于对更新还是不更新非关键帧进行估计的方法。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及视频流的可缩放性。具体地，涉及使用元数据的用于时间缩放的边缘增强。
技术介绍
视频回放能力在装置类别当中变化广泛。在频谱的一端是致使毎秒120高清晰度帧的TV显示器。在低端则是移动电话，其可能只能示出毎秒15低分辨率帧。除了再现装置 的限制之外，用来传播内容的网络带宽也可能规定用于帧率和图像分辨率的最高限度。例如，最好的居住美国的宽带连接如Verizon的FIOS可以容易地传送用于高质量、60帧每秒高清晰度视频的压缩流。许多移动运营商仍然具有2. 5G或更慢的数据网络，其只允许仅具有176X144像素(QCIF)每帧的15帧每秒(fps)。除了针对每一种情形具有分开的压缩流之外，通常优选的是在同样的流中包括某种额外信息，以便每个显示系统可以针对其能力解码适当水平的质量。举例来说，移动手机可能能够找到20fps QCIF,同时读取同样的流的PC则可能解码某种额外信息，然后能够产生 30fps 的 720 X 480 累进(480p)数据。具有这些额外层的位流被说成是可缩放的，并且一般概念被称为可缩放性。希望将用于额外层的开销保持到最小。理想的是应当没有比最大质量内容需要更多的位，并且事实上，如稍后将会示出的那样，可以使可缩放位流的尺寸非常接近于较低质量的需要，而没有很大降低最高质量内容的保真度。在当前的实践中，幸运的是，可以在多种情形下使用所谓的H. 264编码技术。然而，该标准本身并不以足够宽的方式支持可缩放性。这样ー来，针对可缩放系统的挑战之ー就是要确保标准H. 264解码器将会能够以某种质量水平播放流，即使更高的质量水平仅可用于增强的解码器。对标准顺应性的这种要求也可以应用于任何其它具体标准，包括传统编码器像MPEG-2和尚未指定的未来编码器。除了带宽约束和显示约束之外，处理能力也是显著的因素。移动装置像蜂窝电话在它们的计算能力方面固有地受到电池、尺寸和成本限制。而且，大多数电视系统(包括机顶盒)被设计成嵌入式系统，具有许多专用硬件并只有最少量的可编程处理能力。因此，任何可缩放的位流都必须或者用硬件支持，其花费数年的研制周期，或者必须要求低量的计算。将带宽、处理能力、显示能力和标准顺应性的约束纳入考虑是挑战性的问题，其在现有技术中尚未被令人满意地解決。
技术实现思路
根据第一方面，提供了一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，该方法包括对重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成 上采样重构关键帧；形成所述重构关键帧和所述上采样重构关键帧之间的差；以及将所述差添加到重构非关键帧，以补偿所述重构非关键帧。根据第二方面，提供了一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，该方法包括对重构关键帧进行下采样以形成下采样重构关键帧；形成下采样非关键帧和下采样重构关键帧之间的差；对所述差进行上采样以形成上采样差；以及将所述上采样差添加到所述重构关键帧。根据第三方面，提供了一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，该方法包括形成所述非关键帧和所述关键帧之间的差；对所述差进行下采样以生成下采样差；对所述下采样差进行上采样以形成上采样差；重构所述关键帧；以及将所述上采样差添加到重构的关键帧。根据第四方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括对多个重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；形成所述重构关键帧和各个上采样重构关键帧之间的差；以及将所述差之和添加到重构非关键帧以补偿所述重构非关键帧。根据第五方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括对重构关键帧进行下采样以形成下采样重构关键帧；针对每个下采样重构关键帧，形成下采样非关键帧和所述下采样重构关键帧之间的差；对每个差进行上采样以形成上采样差；将每个重构关键帧添加到各个上采样差以形成修订上采样差；以及将所述修订上采样差相加在一起以形成补偿非关键帧。根据第六方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括提供重构关键帧；对每个重构关键帧和非关键帧之间的下采样差进行上采样以形成上采样差；将每个上采样差添加到各个重构关键帧以形成修订上采样差；以及将所述修订上采样差相加在一起以形成补偿非关键帧。根据第七方面，提供了一种用于在图像的解码期间对更新还是不更新所述图像的非关键帧部分进行估计的方法，该方法包括提供第一非关键帧部分；提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；对所述第二非关键帧部分进行下采样；估计下采样的第二非关键帧部分和下采样的第一非关键帧部分之间的差异部分是否小于阈值；如果所述差异部分小于所述阈值，则将所述非关键帧部分更新至所述第二非关键帧部分；以及如果所述差异部分不小于所述阈值，则保持所述第一非关键帧部分。根据第八方面，提供了一种用于在图像的解码期间更新所述图像的非关键帧部分的方法，该方法包括提供第一非关键帧部分；提供关键帧部分和所述关键帧部分的上采样版本之间的差异关键帧部分；将所述差异关键帧部分添加到所述第一非关键帧部分以形成第二非关键帧部分；对所述第二非关键帧部分进行下采样；形成下采样的第一非关键帧部分和下采样的第二非关键帧部分之间的差；对所述差进行上采样；以及将上采样的差添加到所述第二非关键帧部分以形成更新非关键帧部分。根据第九方面，提供了一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧部分进行估计的方法，该方法包括提供所述图像的关键帧部分；对所述关键帧部分进行下采样以形成下采样关键帧部分；对所述下采样关键帧部分进行上采样以形成上采样关键帧部分；估计所述上采样关键帧部分和未补偿的非关键帧部分之间的差是否小于阈值；如果所述差小于所述阈值，则通过向所述非关键帧部分添加所述关键帧部分和所述上采样关键帧部分之间的差，补偿所述非关键帧部分；以及如果所述差不小于所述阈值，则保持未补偿的非关键帧部分。根据第十方面，提供了一种用于在图像的解码过程期间对是否将时间边缘补偿施加到所述图像的非关键帧进行估计的方法，该方法包括提供所述图像的第一关键帧部分和第二关键帧部分；对所述图像的第一关键帧部分和第二关键帧部分进行下采样，以形成下采样的第一关键帧部分和下采样的第二关键帧部分；对下采样的第一关键帧部分和下采样的第二关键帧部分进行上采样，以形成上采样的第一关键帧部分和上采样的第二关键帧部分；估计上采样的第一关键帧部分和未补偿的非关键帧部分之间的第一差是否小于阈值；估计上采样的第二关键帧部分和未补偿的非关键帧部分之间的第二差是否小于所述阈值；如果所述第一差和所述第二差小于所述阈值，则通过向所述非关键帧部分添加所述第 一关键帧部分和上采样的第一关键帧部分之间的差以及所述第二关键帧部分和上采样的第二关键帧部分之间的差之和，补偿所述非关键帧部分；如果所述第一差小于所述阈值而所述第二差不小于所述阈值，则通过向所述非关键帧部分添加所述第一关键帧部分和上采样的第一关键帧部分之间的差，补偿所述非关键帧部分；如果本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.01.15 US 61/295,4251.一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，包括 对重构关键帧进行下采样以形成下采样重构关键帧； 对所述下采样重构关键帧进行上采样以形成上采样重构关键帧； 形成所述重构关键帧和所述上采样重构关键帧之间的差；以及 将所述差添加到重构非关键帧，以补偿所述重构非关键帧。2.根据权利要求I所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被滤波。3.根据权利要求I所述的方法，其中，所述重构关键帧和所述上采样重构关键帧之间的差在被添加到所述重构非关键帧之前被运动补偿。4.一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，包括 对重构关键帧进行下采样以形成下采样重构关键帧； 形成下采样非关键帧和下采样重构关键帧之间的差； 对所述差进行上采样以形成上采样差；以及 将所述上采样差添加到所述重构关键帧。5.根据权利要求4所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。6.根据权利要求4所述的方法，其中，形成所述差、上采样和添加的步骤发生在所述图像的解码阶段。7.一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，包括 形成所述非关键帧和所述关键帧之间的差； 对所述差进行下采样以生成下采样差； 对所述下采样差进行上采样以形成上采样差； 重构所述关键帧；以及 将所述上采样差添加到重构的关键帧。8.根据权利要求7所述的方法，其中，所述关键帧是所述非关键帧的相邻关键帧。9.根据权利要求7所述的方法，其中，上采样和添加的步骤发生在所述图像的解码阶段。10.一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，包括 对多个重构关键帧进行下采样以形成下采样重构关键帧； 对所述下采样重构关键帧进行上采样以形成上采样重构...

【专利技术属性】
技术研发人员：刘荔敏，詹姆斯·E·克伦肖，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：