用于高效下一代视频编码的内容自适应双向或功能预测多遍图片制造技术

我们通过开发出在本公开中被称为与内容自适应预测P-图片、内容自适应功能性预测F-图片相同的改进的版本以及使用这些图片类型的改进的高级图片结构，提出了对传统预测性P-图片和双向预测B-图片的显著进步。特别地，F图片，类似于B-图片，可以通过使用至少一个过去预测、至少一个未来预测帧，或者两者来进行重构。F图片具有使用一个或多个修改的参考帧的选项，所述一个或多个修改的参考帧由变形技术或合成技术来进行修改。

【技术实现步骤摘要】
【国外来华专利技术】用于高效下一代视频编码的内容自适应双向或功能预测多遍图片相关申请本专利申请要求于2013年1月30日递交的、名称为“NEXTGENERATIONVIDEOCODING”的美国临时申请No.61/758,314的优先权，该临时申请出于所有目的被并入本文。
技术介绍
视频编码器压缩视频信息，使得更多的信息可以在给定的带宽上被发送。压缩的信号可以然后被发送到具有解码器的接收机，所述解码器在显示之前对信号解码或解压缩。高效视频编码(HEVC)是最近的视频压缩标准，其是由ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组(VCEG)组成的视频编码联合组(JCT-VC)开发的。HEVC响应于以前的H.264/AVC(高级视频编码)标准不提供足够的压缩的而进行开发，以用于发展较高分辨率视频应用。类似于以前的视频编码标准，HEVC包括基本功能模块，例如，帧内/帧间预测、变换、量化、循环滤波和熵编码。正在发展的HEVC标准可以试图改进对H.264/AVC标准的限制，例如，对被允许的预测分区和编码分区的有限选择、有限的被允许的多个参考和预测生成、有限的变换块尺寸和实际变换、用于减少编码伪像的有限机制和低效熵编码技术。然而，正在发展的HEVC标准可以使用迭代方法来解决这样的问题。例如，在要被压缩的视频的不断增加的分辨率和对高视频质量的期望的情况下，使用现有的视频编码标准(例如，H.264)或甚至发展的标准(例如，H.265/HEVC)进行编码所需的相对的应比特率/带宽是相对高的。前面提到的标准使用传统方法的扩展形式来隐含地处理不足的压缩/质量问题，但结果常常是有限的。在下一代视频(NGV)编码译码器计划的上下文内发展的本公开处理设计使可实现的压缩效率最大化同时保持对设备上的实现足够实用的高级视频编码译码器的一般问题。例如，在由于良好的显示器的可用性而引起的视频的不断增加的分辨率和对高视频质量的期望的情况下，使用现有的视频编码标准(例如，早些时候的MPEG标准)和甚至更近的H.264/AVC标准所需的相对应的比特率/带宽是相对高的。H.264/AVC不被理解为提供用于发展较高分辨率视频应用的足够高的压缩。附图说明本文描述的材料作为示例而不是作为限制在附图中示出。为了举例说明的简单和清楚，在附图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件被放大。此外，在被认为适当的场合，参考标记在附图当中重复以指示相对应的或类似的元件。在附图中：图1是示例下一代视频编码器的示意图；图2是示例下一代视频解码器的示意图；图3(a)是示例下一代视频编码器和子系统的示意图；图3(b)是示例下一代视频解码器和子系统的示意图；图4A是根据本文的实现示出了提供对于预测帧进行多遍编码的过程的流程图；图4B是根据本文的实现示出了提供对于预测帧进行多遍编码的另一过程的流程图；图5是具有修改的参考帧的帧序列的示意图；图6是修改的参考帧的超分辨率过程的示意图；图7是示例编码器子系统的示意图；图8是示例解码器子系统的示意图；图9是展示了链式预测和其它预测技术的帧序列的示意图；图10是示例编码器子系统的示意图；图11是示例解码器子系统的示意图；图12是展示了投影插补和其它预测技术的帧序列的示意图；图13是在多遍的情况下展示参考帧依赖的帧序列的示意图；图14是在多遍的情况下展示参考帧依赖的另一帧序列的示意图；图15是在多遍的情况下展示参考帧依赖的又一帧序列的示意图；图16是示例编码器子系统的示意图；图17是示例解码器子系统的示意图；图18是在多遍的情况下具有展示了参考帧依赖的B-图片的帧序列的示意图；图19是示例编码器子系统的示意图；图20是示例解码器子系统的示意图；图21是示例视频编码系统的示意图；图22是示例系统的示意图；以及图23示出了所有都根据本公开的至少一些实现来布置的示例设备。具体实施方式现在参考所包含的附图来描述一个或多个实施例或实现。虽然讨论了特定的配置和布置，但是应理解，这仅出于例证性目的而被完成。相关领域中的技术人员将认识到，可以使用其它配置和布置而不偏离描述的精神和范围。对相关领域中的技术人员显而易见的是，还可以在除了本文描述的内容以外的各种其它系统和应用中使用本文描述的技术和/或布置。虽然下面的描述阐述了可以在诸如芯片上系统(SoC)架构之类的架构中出现的各种实现，本文描述的技术和/或布置的实现并不限于特定的架构和/或计算系统，并且可以出于类似的目的由任何架构和/或计算系统实现。例如，使用例如多个集成电路(IC)芯片和/或封装、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)的各种架构可以实现本文描述的技术和/或布置。此外，虽然下面的描述可以阐述很多特定的细节，例如，逻辑实现、系统部件的类型和相互关系、逻辑划分/集成选择等，所主张的主题可以在没有这样的特定细节的情况下被实施。在其它实例中，一些材料(例如，控制结构和完整的软件指令序列)可以不详细示出，以便不使本文公开的材料难理解。本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料也可以被实现为存储在机器可读介质上的指令，所述指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)；及其它。在另一形式中，非暂时性制品(例如，非暂时性计算机或机器可读介质)可以与上面提到的示例和除了它本身不包括暂时性信号之外的其他示例中的任何一个一起使用。它可以包括可以以“暂时”的方式(例如，RAM等)临时地保持数据的元件，而不包括信号本身。在说明书中对“一个实现”、“实现”、“示例实现”等的提及指示所述实现可以包括特定的特征、结构、或特性，但每个实施例可能不一定必须包括所述特定的特征、结构或特性。而且，这样的短语并不一定指同一实现。此外，当结合实施例来描述特定的特征、结构或特性时，提出的是，无论是否在本文被明确地描述，结合其它实现来实施这样的特征、结构、或特性是在本领域中的技术人员的知识范围内的。下面关于用于高效下一代视频编码的内容自适应双向和功能预测多遍图片描述的系统、装置、制品、以及方法。这还可以被称为对高级B-图片或F-图片进行编码。如上面讨论的，H.264/VAC标准可以具有各种限制和在进行中改进标准的试图，例如，HEVC标准可以使用迭代的方法来处理这样的限制。例如，在要被压缩的视频的不断增加的分辨率和对高视频质量的期望的情况下，使用现有的视频编码标准(例如，H.264)或甚至发展的标准(例如，H.265/HEVC)进行编码所需的相对应的比特率/带宽是相对高的。前述标准可以使用传统方法的扩展形式来隐含地处理不足的压缩/质量问题，但常常结果是有限的。例如，传统帧间编码一般包括由标准使用的运动补偿预测。因此，这样的不足的压缩/质量问题一般通过只使用在视频的帧间编码中的局部运动补偿预测来隐含地处理。此外，当前尝试一些特定的方法。这样的尝试一般可以使用多个过去或多个过本文档来自技高网...

【技术保护点】
一种用于视频编码的计算机实现的方法，包括：以输入视频顺序接收帧；在第一遍中对当前帧的第一段进行编码，其中，所述第一段与在所述帧上示出的内容相关联，并且其中，所述当前帧是双向(B‑图片)或功能(F‑图片)多遍图片，其中，所述双向和功能多遍图片二者都被提供有选项，以使用至少一个过去的参考帧、至少一个未来的参考帧，或二者，并且其中，当前、过去、以及未来都是相对于所述输入视频顺序的，以及其中，所述功能多遍图片具有选项，以使用由变形技术或合成技术修改的一个或多个修改的参考帧；在至少第二遍中对与所述第一段不同的所述当前帧的至少第二段进行编码，其中，所述第一遍和第二遍在不同的时刻被执行，使得在每一遍期间对参考帧的使用在不同的时刻发生，并且其中，对所述第一段和第二段至少二者进行编码，所述第一段和第二段合作地用于完成对实质上整个当前帧的实质上完全的质量编码；以及在同一时刻实例或在不同的时刻实例将与重建所述段相关联的数据写到编码器比特流。

【技术特征摘要】
【国外来华专利技术】2013.01.30 US 61/758,3141.一种用于视频编码的计算机实现的方法，包括：以输入视频顺序接收帧；在第一遍中对当前帧的第一段进行编码，其中，所述第一段与在所述帧上示出的内容相关联，并且其中，所述当前帧是至少能够交替地用作双向(B-图片)多遍图片和功能(F-图片)多遍图片的帧间预测帧，其中，所述双向和功能多遍图片二者都被提供有选项，以使用至少一个过去的参考帧、至少一个未来的参考帧，或二者，并且其中，当前、过去、以及未来都是相对于所述输入视频顺序的，以及其中，所述功能多遍图片具有选项，以使用由变形技术或合成技术修改的一个或多个修改的参考帧，所述合成技术对于所述双向多遍图片不能够使用；在至少第二遍中对作为所述当前帧的与所述第一段至少部分不同的区域的所述当前帧的至少第二段进行编码，其中，所述第一遍和第二遍在不同的时刻被执行，使得在每一遍期间对参考帧的使用在不同的时刻发生，并且其中，对所述第一段和第二段至少二者进行编码，所述第一段和第二段合作地用于完成对实质上整个当前帧的实质上完全的质量编码；以及在同一时刻或在不同的时刻将与重建所述第一段和所述第二段相关联的数据写到编码器比特流。2.根据权利要求1所述的方法，其中，所述第一段和第二段具有至少一个不同的参考帧。3.根据权利要求1所述的方法，包括：在对所述当前帧的所述第一段和第二段的编码之间，至少部分地执行对至少另一帧的编码。4.根据权利要求3所述的方法，其中，所述另一帧是P-图片。5.根据权利要求3所述的方法，其中，所述另一帧的至少部分被用作对所述第二段进行编码的参考。6.根据权利要求3所述的方法，其中，所述另一帧是未来的帧，并且其中，小于所述另一帧的全部的部分被解码并且被用作对所述当前帧的所述第二段进行编码的参考。7.根据权利要求3所述的方法，其中，小于所述另一帧的全部的部分被解码并且被用作对所述第二段进行编码的参考。8.根据权利要求1所述的方法，其中，所述第一段和第二段中的一个通过使用至少一个过去的参考帧来进行编码，并且所述第一段和第二段中的另一个通过使用至少一个未来的参考帧来进行编码。9.根据权利要求1所述的方法，其中，所述第一段和第二段中的一个与所述当前帧的背景相关联，并且所述第一段和第二段中的另一个与所述当前帧的前景相关联。10.根据权利要求1所述的方法，其中，所述第一段对所述当前帧的背景和前景二者进行编码，并且其中，所述第二段提供对所述背景或所述前景的增强的质量编码。11.根据权利要求1所述的方法，其中，所述第一段提供对所述当前帧的背景和前景的不同质量的编码，并且其中，所述第二段提供对较粗糙编码的所述背景或前景的更好质量的编码。12.根据权利要求1-11中的任何一项所述的方法，其中，所述当前帧是使用至少一个修改的参考帧来被重建的功能F-帧，所述至少一个修改的参考帧使用以下中的至少一个的变形技术：增益补偿，主要或全局运动补偿，以及模糊或配准补偿。13.根据权利要求1-11中的任何一项所述的方法，其中，所述当前帧是使用至少一个修改的参考帧来被重建的功能F-帧，所述至少一个修改的参考帧使用以下中的至少一个的合成技术：超分辨率，以及投影插补。14.根据权利要求1-11中的任何一项所述的方法，其中，以所述输入视频顺序的所述帧被提供参考帧和要被编码的相对应的帧之间的依赖结构，所述依赖结构具有以下中的至少一个：多参考，其中，至少一个当前帧是由至少两个过去的参考帧进行编码的，层次结构编码，其中，至少一个当前帧是由参考帧进行编码的，所述参考帧是具有由过去的参考帧、未来的参考帧、或者二者进行编码的选项的F-图片，链式编码，其中，过去的F-图片是除了任何其它编码依赖之外的另一F-图片的参考帧，以及自适应编码，其中，非F-图片之间的F-图片的数量变化。15.根据权利要求1-11中的任何一项所述的方法，包括隐式地对定义了所述第一段和第二段的段掩码或边界图进行编码，包括将色键颜色插入在前景物体区域外面的矩形中，对所述矩形进行编码，并且对所述矩形进行解码，包括提取所述色键颜色以恢复所述前景物体区域和背景区域之间的边界。16.根据权利要求1所述的方法，其中，所述第一段和第二段具有至少一个不同的参考帧；所述方法包括：在对所述当前帧的所述第一段和第二段的编码之间，至少部分地执行对至少另一帧的编码；其中，所述另一帧是P-图片；其中，所述另一帧的至少一部分被用作对所述第二段进行编码的参考；其中，所述另一帧是未来的帧，并且其中，小于所述另一帧的全部的部分被解码并且被用作对所述当前帧的所述第二段进行编码的参考；其中，小于所述另一帧的全部的部分被解码并且被用作对所述第二段进行编码的参考；其中，所述第一段和第二段中的一个通过使用至少一个过去的参考帧来进行编码，并且所述第一段和第二段中的另一个通过使用至少一个未来的参考帧来进行编码；其中，以下中的至少一个：所述第一和第二段中的一个与所述当前帧的背景相关联，而所述第一段和第二段的另一个与所述当前帧的前景相关联，所述第一段对所述当前帧的所述背景和前景二者进行编码，并且其中，所述第二段提供对所述背景或所述前景的增强的质量编码，以及所述第一段提供对所述当前帧的所述背景和所述前景的不同质量的编码，并且其中，所述第二段提供对较粗糙编码的所述背景或前景的更好质量的编码；其中，所述当前帧是使用至少一个修改的参考帧来重建的功能F-帧，所述至少一个修改的参考帧使用以下中的至少一项：以下中的至少一个的变形技术：增益补偿，主要或全局运动补偿，以及模糊或配准补偿，以及以下中的至少一个的合成技术：超分辨率，以及投影插补；其中，以所述输入视频顺序的所述帧被提供参考帧和要被编码的相对应的帧之间的依赖结构，所述依赖结构具有以下中的至少一个：多参考，其中，至少一个当前帧是由至少两个过去的参考帧进行编码的，层次结构编码，其中，至少一个当前帧是由参考帧进行编码的，所述参考帧是具有由过去的参考帧、未来的参考帧、或者二者进行编码的选项的F-图片，链式编码，其中，过去的F-图片是除了任何其它编码依赖之外的另一F-图片的参考帧，以及自适应编码，其中，非F-图片之间的F-图片的数量变化；所述方法包括隐式地对定义了所述第一段和第二段的段掩码或边界图进行编码，包括将色键颜色插入在前景物体区域外面的矩形中，对所述矩形进行编码，并且对所述矩形进行解码，包括提取所述色键颜色以恢复所述前景物体区域和背景区域之间的边界。17.一种编码器，包括：图像缓冲区；通信地耦合到所述图像缓冲区的图形处理单元，并且其包括：变形分析器或合成分析器或二者，用于将像...

【专利技术属性】
技术研发人员：A·普里，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US