一种用于视频编码的计算机实现的方法及装置制造方法及图纸

本发明专利技术与用于高效下一代视频编码的计算机实现的方法相关。用于视频编码的计算机实现的方法包括：以输入视频顺序并且与多水平层次结构相关联的获取帧的像素数据，所述多水平层次结构包括具有被用作参考帧的至少I‑图片、或P‑图片或二者的基础水平，具有使用基础水平上的帧作为参考的图片的至少一个中间水平，以及具有不被用作参考帧，并且使用其它水平的帧作为参考的图片的最大水平，其中，P‑图片使用相对于顺序的过去帧作为参考，并且其中，最大水平上的图片被提供有选项，来使用过去参考帧、未来参考帧、或二者；并且至少部分地取决于至少一个当前帧的层次结构的水平来确定帧的量化参数，并且其中，每一个帧被给出与该帧所在的水平相关联的级别。

【技术实现步骤摘要】
【国外来华专利技术】一种用于视频编码的计算机实现的方法及装置相关申请本专利技术要求于2013年1月30日递交的、名称为“NEXTGENERATIONVIDEOCODING”的美国临时申请No.61/758,314的优先权。
技术介绍
视频编码器压缩视频信息，使得更多的信息可以通过给定的带宽被发送。压缩的信号然后可以被发送到具有解码器的接收机，所述解码器在显示之前对信号进行解码或解压缩。高效视频编码(HEVC)是最新的视频压缩标准，其是由ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组(VCEG)组成的视频编码联合组(JCT-VC)开发的。HEVC响应于以前的H.264/AVC(高级视频编码)标准不提供足够的压缩而进行开发，以用于发展较高分辨率视频应用。类似于以前的视频编码标准，HEVC包括基本功能模块，例如，帧内/帧间预测、变换、量化、循环内滤波和熵编码。正发展的HEVC标准可以试图改进对H.264/AVC标准的限制，例如，对被允许的预测分区和编码分区的有限选择、有限的被允许的多参考和预测生成、有限的变换块尺寸和实际变换、用于减少编码伪像的有限机制、和低效熵编码技术。然而，正发展的HEVC标准可以使用迭代方法来解决这样的问题。例如，在要被压缩的视频的不断增加的分辨率和对高视频质量的期望的情况下，使用现有的视频编码标准(例如，H.264)或甚至演进的标准(例如，H.265/HEVC)进行编码所需的相对应的比特率/带宽是相对高的。前面提到的标准使用传统方法的扩展形式来隐含地处理不足的压缩/质量问题，但结果常常是有限的。在下一代视频(NGV)编码译码器计划的上下文内发展的本公开解决设计使可实现的压缩效率最大化同时保持对设备上的实现足够实用的高级视频编码译码器的一般问题。例如，在由于良好的显示器的可用性而引起的视频的不断增加的分辨率和对高视频质量的期望的情况下，使用现有的视频编码标准(例如，早些时候的MPEG标准)和甚至更近的H.264/AVC标准所需的相对应的比特率/带宽是相对高的。H.264/AVC不被认知为提供用于发展较高分辨率视频应用的足够高的压缩。附图说明本文描述的材料作为示例而不是作为限制在附图中示出。为了举例说明的简单和清楚，在附图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件被放大。此外，在被认为适当的场合，附图标记在附图当中重复以指示相对应的或类似的元件。在附图中：图1是示例下一代视频编码器的示意图；图2是示例下一代视频解码器的示意图；图3(a)是示例下一代视频编码器和子系统的示意图；图3(b)是示例下一代视频解码器和子系统的示意图；图4是根据本文公开的量化适配器率控制的图；图5是根据本文公开的两遍量化适配器率控制的图；图6是量化适配器率控制过程的流程图；图7是一遍量化适配器率控制过程的流程图；图8是具有层次结构的帧结构的帧序列的示意图；图9是率控制启动过程的流程图；图10是层次结构的帧结构的示意图；图12是示出了Qp值与复杂度线性关系的图表；图13是示出了Qp值与复杂度二次关系的图表；图14是示出了目标比特率bpp与bpp_id映射的表；图15是示出了复杂度度量cpx与cpx_id映射的表；图16是平均Qp值的表；图17是最小Qp值的表；图18是最大Qp值的表；图19是I到P比特比率与Qp的图表；图20是缓冲区的示意图；图21是用于缓冲区递增的率阈值的表；图22A-22B是两遍量化适配器率控制过程的示意流程图；图23是具有预见性的一遍量化率控制过程的示意流程图；图24是示例视频编码系统的示意图；图25是示例系统的示意图；以及图26示出了示例设备，其全部是根据本公开的至少一些实现进行布置的。具体实施方式现在参考所包含的附图来描述一个或多个实现。虽然讨论了特定的配置和布置，但是应理解，这仅出于例证性目的而被完成。相关领域中的技术人员将认识到，可以使用其它配置和布置而不偏离描述的精神和范围。对相关领域中的技术人员显而易见的是，还可以在除了本文描述的内容以外的各种其它系统和应用中使用本文描述的技术和/或布置。虽然下面的描述阐述了可以在诸如芯片上系统(SoC)架构之类的架构中出现的各种实现，但是本文描述的技术和/或布置的实现并不限于特定的架构和/或计算系统，并且可以出于类似的目的由任何架构和/或计算系统实现。例如，使用例如多个集成电路(IC)芯片和/或封装、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)的各种架构可以实现本文描述的技术和/或布置。此外，虽然下面的描述可以阐述很多特定的细节，例如，逻辑实现、系统部件的类型和相互关系、逻辑划分/集成选择等，但是所主张的主题可以在没有这样的特定细节的情况下被实施。在其它实例中，一些材料(例如，控制结构和完整的软件指令序列)可以不详细示出，以便不使本文公开的材料难理解。本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料也可以被实现为存储在机器可读介质上的指令，所述指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)；及其它。在说明书中对“一个实现”、“实现”、“示例实现”等的提及指示所述实现可以包括特定的特征、结构、或特性，但每个实施例可能不一定必须包括所述特定的特征、结构或特性。而且，这样的短语并不一定指同一实现。此外，当结合实施例来描述特定的特征、结构或特性时，提出的是，无论是否在本文被明确地描述，结合其它实现来实施这样的特征、结构、或特性是在本领域中的技术人员的知识范围内的。如在本文使用的，术语“编码器”可以指编码器和/或解码器。类似地，如在本文使用的，术语“编码”可以指经由编码器执行视频编码和/或经由解码器执行视频解码。例如，视频编码器和视频解码器二者都可以是能够对视频数据进行编码的编码器的示例。此外，如在本文使用的，术语“编码译码器”可以指任何过程、程序或操作的集合，例如，可以实现编码器和/或解码器的软件、固件和/或硬件的任何组合。此外，如在本文使用的，短语“视频数据”可以指与视频编码相关联的任何类型的数据，例如，视频帧、图像数据、编码的比特流数据等。下面关于用于高效下一代视频编码的通过量化的内容自适应比特率和质量控制的系统、装置、制品、以及方法。如上面讨论的，虽然是向前好的一步，但是存在HEVC标准对于使压缩效率最大化同时保持设备上的实现的充足实践是不足够的许多原因。更特别地，视频编码器具有可以被改进的率控制器(RC)或比特率控制器(BRC)。有时，视频编码器的所述部件是单独的，而其它时刻它是被称为编码控制器的更大的部件的一部分，所述编码控制器管理包括率失真的编码的许多方面，以及当启用恒定比特率(CBR)编码时，所述编码控制器可以管理整体比特率。结合H.264/AVC视频编码使用的典型的率控制器或比特率控制器(编码控制器的部件)是非常受限制的，因为所述标准不是与HEVC或本文所公开的比特率一样有效的。因为只有当标本文档来自技高网...

【技术保护点】
一种用于视频编码的计算机实现的方法，包括：以输入视频顺序并且与多水平的层次结构相关联的获取帧的像素数据，所述多水平的层次结构包括至少具有被用作参考帧的I‑图片或P‑图片或二者的基础水平、具有使用所述基础水平上的帧作为参考的图片的至少一个中间水平、以及具有不被用作参考帧并且使用其它水平的帧作为参考的图片的最大水平，其中，P‑图片使用相对于所述顺序的过去帧作为参考，并且其中，所述最大水平上的图片被提供有选项，以使用过去参考帧、未来参考帧、或二者；以及至少取决于至少一个当前帧的层次结构的水平来确定针对所述帧的量化参数(Qp)，并且其中，每一个帧被给出了与所述帧所在的水平相关联的级别。

【技术特征摘要】
【国外来华专利技术】2013.01.30 US 61/758,3141.一种用于视频编码的计算机实现的方法，包括：以输入视频顺序并且与多水平的层次结构相关联地获取像素数据的帧，所述多水平的层次结构包括至少具有被用作参考帧的I-图片或P-图片或二者的基础水平、具有使用所述基础水平上的帧作为参考的图片的至少一个中间水平、以及具有不被用作参考帧并且使用其它水平的帧作为参考的图片的最大水平，其中，P-图片使用相对于所述输入视频顺序的过去帧作为参考，并且其中，所述最大水平上的图片被称为F-图片并且被提供有选项，以使用过去参考帧、未来参考帧、或二者；以及取决于当前帧的层次结构的水平来确定针对所述帧的量化参数Qp，并且其中，每一个帧被给出了与所述帧所在的水平相关联的级别。2.如权利要求1所述的方法，包括，至少初始地，所述帧的水平越靠近所述基础水平，就提供针对所述帧的越小的量化参数。3.如权利要求1所述的方法，包括，至少初始地，向所述基础水平提供相对于所有其它水平的针对所述帧的最小量化参数。4.如权利要求1所述的方法，包括根据每目标比特率的未来帧的能够使用的复杂度的平均时间复杂度的值和Qp之间的预定关系，形成级别0P-图片的至少初始QP。5.如权利要求1所述的方法，包括使用P-图片级别0帧的至少初始QP来形成级别0非P-图片帧的Qp。6.如权利要求5所述的方法，包括使用P-图片级别0Qp值到级别0非P-图片Qp值的预定映射来形成针对帧的级别0非P-图片Qp值。7.如权利要求1所述的方法，包括确定针对每一个非零水平的恒定的初始帧Qp。8.如权利要求7所述的方法，其中，与非零水平上的帧的类型无关，针对所述非零水平上的所有帧来建立恒定的帧Qp。9.如权利要求1所述的方法，包括根据以下方程式确定级别0帧以外的帧的Qp：Qpr＝inter_q[0]+((fpic_q[0]–inter_q[0])+(1.0/2.0))xr其中，inter_q[0]是针对级别0P-图片的初始QP，fpic_q[0]是用于级别0F-图片的初始QP，并且r是正被分析的当前帧的级别，其中，提供选项以使用F-图片的过去参考帧、未来参考帧、或二者。10.如权利要求1所述的方法，包括将从以下中的至少一项导出的限制应用于Qp值：(1)对于序列开始处的帧，根据与时空复杂度和每像素比特(bpp)之间的关系相关联的预定值导出的限制，所述每像素比特是基于帧的比特率、帧率、以及宽度*高度的，(2)对于与序列开始处的帧不同的帧，至少部分地基于包括来自与正被分析的帧位于相同序列的先前编码的帧的数据在内的历史的针对所述帧的限制，并且其中，目前被编码的帧的均值QP基于：(avg_pqp)目前被编码的所有帧的平均Pqp，(avg_cplx)平均时空复杂度，(act_bits)目前被编码的所有帧消耗的总比特，(cplx)所述当前帧的复杂度，以及(target_bits)包括所述当前帧的所有帧的总目标比特，并且其中，当所得到的均值Qp位于所述平均Pqp的某百分比内时，使用上面的选项(2)，以及(3)将目前被编码的帧的平均Pqp设置为用于确定Qp限制的均值Qp，其中，Pqp是P-图片级别0Qp。11.如权利要求1所述的方法，包括取决于所述帧是位于序列的开始、是空白或静态场景的部分、或二者都不是来不同地确定相对于初始Qp的更最终的帧Qp。12.如权利要求1所述的方法，包括至少部分地基于所述帧的级别来确定相对于初始QP的更最终的帧QP。13.如权利要求1所述的方法，包括至少部分地基于初始P-图片级别0QP和I-图片到P-图片比特比率之间的预定关系，来建立P-图片的估计的比特(P_est_bits)的值。14.如权利要求1所述的方法，包括基于初始P-图片级别0Qp和P-图片到F-图片比特比率之间的预定关系，来建立F-图片的估计的比特(F_est_bits)的值，其中，提供选项以使用针对F-图片的过去参考帧、未来参考帧、或二者。15.如权利要求8或13所述的方法，包括提供选项来向F-图片提供由变形技术或合成技术进行修改的修改的参考帧。16.如权利要求1所述的方法，其中，利用线性模型来计算对帧的比特的估计，并且所述对帧的比特的估计对于所述帧的帧类型和水平的不同组合是不同的，其中，所述帧类型至少包括P-图片、F-图片、B-图片、或I-图片。17.如权利要求1所述的方法，包括确定更最终的帧Qp来将缓冲区充满程度保持为朝向相对于缓冲区的比特容量的所述缓冲区的均值操作点。18.如权利要求17所述的方法，其中，所述缓冲区是对解码器处的缓冲区的参数进行模拟的编码器处的虚拟缓冲区。19.如权利要求1所述的方法，包括确定针对对缓冲区的缓冲区充满程度敏感的帧的更最终的Qp，包括：利用水平敏感的Qp模型来估计帧的比特；确定是否应用视频缓冲区校验VBV增量，所述视频缓冲区校验VBV增量与缓冲区状况相关联，并且被应用来将初始Qp调节为朝向缓冲区的均值操作Qp，并且取决于以下中的至少一个被应用：缓冲区递增的率是否超过阈值，其中，所述缓冲区递增是相对于帧序列的平均比特缓冲区水平的比特的值，并且基于对帧的比特的估计，以及对所述缓冲区的充满程度的缓冲区估计是否高于所述阈值，其中，所述缓冲区估计与缓冲区充满程度值和缓冲区递增值相关联；计算与同帧的复杂度相对应的加权因子相关联的以及与所述缓冲区递增相关联的复杂度增量；以及至少部分地基于如果超过所述阈值则由VBV增量调节的初始QP、以及所述复杂度增量来确定所述更最终的Qp。20.如权利要求1所述的方法，其中，初始QP是级别0P-图片Qp。21.如权利要求1所述的方法，包括至少部分地取决于对作为相对于当前帧的未来帧的一些预见性帧进行预分析，来形成针对所述当前帧的更最终的Qp，并且其中，所述预分析包括在不对所述预见性帧进行完全编码的情况下，确定所述预见性帧的复杂度和运动特性。22.如权利要求21所述的方法，包括至少部分地基于利用增量值来调节更初始的Qp来确定更最终的Qp，包括利用以下内容来确定增量值：(1)与序列的复杂度相关联的复杂度增量，所述序列具有正被分析的当前帧并且包括所述预见性帧，并且所述复杂度增量由自适应量化形成，所述自适应量化包括以下中的至少一个：关键帧启动，其通过将帧的总比特量从与相同序列中与I-图片不同的图片改变到I-图片，并且使用所述I-图片作为参考来进行移...

【专利技术属性】
技术研发人员：S·延内蒂，A·普里，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US