由视频描述长度引导的视频编码的速率-失真-复杂性优化制造技术

一种系统和方法提供了具有比特率约束的由视频描述长度(VDL)引导的恒定质量视频编码策略和一种用于优化输入视频的编码比特率、失真和复杂性的视频编码系统。该方法获得输入视频的总VDL、时间VDL和空间VDL并且比较输入视频的总VDL、时间VDL和空间VDL与参考VDL、时间VDL和空间VDL。基于比较，该方法调整输入视频的编码比特率、总编码复杂性、时间编码复杂性和空间编码复杂性，并且用输入视频的调整的编码比特率、总编码复杂性、时间编码复杂性和空间编码复杂性对输入视频编码。

【技术实现步骤摘要】
【国外来华专利技术】由视频描述长度引导的视频编码的速率-失真-复杂性优化
本专利技术总体上涉及视频托管系统，并且更特别地涉及一种用于在编码时间和比特率约束之下用优化的视觉质量对视频进行代码转换的视频编码系统。
技术介绍
视频托管服务(比如YOUTUBE)允许用户发布视频。大多数视频托管服务将原有源视频从它的原生编码格式(例如，MOV)代码转换成一个或者多个输出格式(例如，ADOBEFLASH或者Windows Media Video (WMV))。代码转换包括使用用于原生格式的视频编码解码器将源视频从原生格式解码成未编码的表示，并且然后利用用于输出格式的视频编码解码器对未编码的表示编码。代码转换可以用来减少存储要求，并且也减少用于向客户端供应视频的带宽要求。在为具有数百万个视频的视频托管服务设计视频编码系统时的一个挑战是用可接受的视觉质量并且以合理计算成本对视频进行代码转换和存储。一个特别的问题是高效分配编码比特和计算以实现源视频的优化的速率-失真(R-D)和计算时间。一般而言，给定目标分辨率和帧速率，视频的视觉质量由它的使用速率控制算法而计算出的编码比特率确定。常规视频编码系统使用多种编码策略以获得源视频的优化的速率-失真，这些编码策略包括一次通过和多次通过平均比特率编码(ABR)、恒定比特率编码(CBR)、恒定量化器编码(CQP)和恒定速率因子编码(CRF)。常规编码策略无法向编码的视频提供恒定视觉质量而又满足与视频关联的比特率约束并且未联合地优化比特率、失真和复杂性。例如，ABR编码策略使用伸缩因子以及长期和短期补偿以实现目标比特率并且满足网络带宽约束。但是ABR编码的视觉质量可能在视频场景改变时波动。CBR编码策略被设计用于由具有固定大小的存储缓冲器控制的具有恒定比特率的实时流传输。CBR在以上提到的常规编码策略之中提供最高编码速度但是最低R-D性能。CQP编码策略维持恒定量化器并且使用相同量化参数(QP)来压缩每个帧。CQP可能尤其在它对具有密集场景改变的视频使用大型量化器时引起编码的视频的时间感知波动。CRF编码策略以用恒定速率因子实现恒定视觉质量为目标。CRF用标称量化器对视频编码，但是在场景具有大量动作和运动时增加QP并且反之亦然。CRF编码的缺点在于输出视频文件大小由于视频内容中的可变场景而不可预测。因此，难以选择适当恒定速率因子值以满足网络或者存储系统的所需比特率约束。
技术实现思路
一种方法、系统和计算机程序产品为视频托管服务提供由视频描述长度引导的具有恒定质量和比特率约束的优化的视频代码转换。在一个实施例中，该方法为输入视频获得总复杂性、时间复杂性和空间复杂性的测量并且比较总复杂性、时间和空间复杂性测量与参考复杂性、时间和空间复杂性测量。输入视频的复杂性(总、时间和空间)的测量由输入视频的某个视频描述长度(VDL)代表。VDL是以某个可视质量对视频编码而需要的比特率。总VDL指示输入视频的总内容复杂性。输入视频的时间VDL反映视频的时间复杂性。输入视频的空间VDL反映视频的空间复杂性。基于比较，该方法调整输入视频的总编码复杂性、时间和空间编码复杂性并且用输入视频的调整的总编码复杂性、时间和空间编码复杂性对输入视频编码。可以通过使用训练的CRF参考比特率模型和修正的CRF比特率模型来进一步增强用输入视频的调整的总编码复杂性、时间和空间编码复杂性对输入视频编码。对大型视频全集训练CRF参考比特率模型以对在CRF编码的CRF值与平均比特率之间的关系建模。修正的CRF比特率模型被适配为用优化对输入视频编码。另一实施例包括一种用于优化输入视频的编码比特率、失真和复杂性的包括视频描述长度模块和代码转换模块的计算机系统。又一实施例包括一种存储用于按照以上描述的方式压缩图像的可执行计算机程序指令的非瞬态计算机可读介质。在说明书中描述的特征和优点并非囊括性的，并且特别地，许多附加特征和优点将鉴于附图、说明书和权利要求而为本领域普通技术人员所清楚。另外，应当注意，在说明书中使用的言语已经主要出于可读性和指导目的而被选择并且可能尚未被选择用于界定或者限制公开的主题内容。【附图说明】图1是图示了具有视频编码系统的视频托管服务的系统视图的框图，该视频编码系统具有速率-失真-复杂性(RDC)优化。图2是图示了利用RDC优化在比特率约束之下的由视频描述长度引导的恒定质量视频编码策略的流程图。图3是利用RDC优化在比特率约束之下的输入视频的由视频描述长度引导的恒定质量视频编码的流程图。图4是在比特率约束之下的多次通过恒定质量视频编码策略的编码步骤的流程图。图5是调整用于示例视频的修正的CRF比特率模型的因子、目标比特率、实际比特率的示例数据。图6是用于RDC优化的离线训练编码计算简档(ECP)映射模块的流程图。图7是用于训练CRF参考比特率模型的相对于恒定速率因子(CRF)和空间分辨率的平均比特率的示例数据。附图仅出于例示的目的而描绘本专利技术的各种实施例，并且本专利技术不限于这些所示的实施例。本领域技术人员将从以下讨论容易地认识到可以运用这里所示的结构和方法的备选实施例而未脱离这里描述的本专利技术的原理。【具体实施方式】1.系统概沭图1是图不了具有基于速率_失真_复杂性(RDC)的视频编码系统102的视频托管服务100的系统视图的框图。多个用户/查看者使用客户端110A-110N以向视频托管服务100发送视频托管请求，比如向视频托管网站上传视频，以及从视频托管服务100接收请求的服务。视频托管服务100经由网络130与一个或者多个客户端110A-110N通信。视频托管服务100从客户端110A-110N接收视频托管服务请求、通过基于RDC的视频编码系统102对源视频进行代码转换并且向客户端110A-110N返回代码转换的源视频。视频托管服务100可以驻留于云计算网络内。转向图1中所示的单独的实体，每个客户端110由用户用来请求视频托管服务。例如，用户使用客户端110以发送对于上传视频以用于共享或者播放视频的请求。客户端110可以是任何类型的计算机设备(比如个人计算机(例如，台式、笔记本、膝上型)计算机)以及设备(比如移动电话、个人数字助理、具有IP功能的视频播放器)。客户端110通常包括处理器、显示设备(或者向显示设备的输出)、客户端110将用户在执行任务时使用的数据存储到的本地存储装置(比如硬驱动器或者闪存设备)以及用于经由网络130耦合到视频托管服务100的网络接口。客户端110还具有用于播放视频流的视频播放器120 (例如，来自AdobeSystems, Inc.的Flasher?播放器等)。视频播放器120可以是单独应用或者是向另一应用(比如网络浏览器)的插件。可以在硬件或者硬件和软件的组合中实施播放器120。所有这些实现方式关于本专利技术在功能上等效。播放器120包括用于选择视频馈送、开始、停止和倒回视频馈送的用户界面控件(和对应的应用编程接口)。播放器120也可以在它的用户界面中包括被配置用于指示哪个视频显示格式(例如，标准清晰度TV或者高清晰度TV)的视频显示格式选择。其它类型的用户界面控件(例如，按钮、键盘控件)也可以用来控制播放器120的回放和视频格式选择功能。网络130支持在客户端110与视频托管服务10本文档来自技高网...

【技术保护点】
一种用于优化输入视频的编码比特率、失真和复杂性的计算机系统，所述系统包括：视频描述长度(VDL)模块，被配置为：获得所述输入视频的总VDL、时间VDL和空间VDL；并且比较所述输入视频的所述总VDL、所述时间VDL和所述空间VDL与对应的参考总VDL、参考时间VDL和参考空间VDL；基于所述比较调整所述输入视频的编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性；以及视频代码转换器，与所述视频描述长度模块耦合，被配置为：用所述输入视频的调整的所述编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性对所述输入视频编码。

【技术特征摘要】
【国外来华专利技术】2011.10.17 US 13/275,0901.一种用于优化输入视频的编码比特率、失真和复杂性的计算机系统，所述系统包括: 视频描述长度(VDL)模块，被配置为: 获得所述输入视频的总VDL、时间VDL和空间VDL ;并且 比较所述输入视频的所述总VDL、所述时间VDL和所述空间VDL与对应的参考总VDL、参考时间VDL和参考空间VDL ； 基于所述比较调整所述输入视频的编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性；以及视频代码转换器，与所述视频描述长度模块耦合，被配置为: 用所述输入视频的调整的所述编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性对所述输入视频编码。2.根据权利要求1所述的系统，其中所述输入视频的所述总VDL由用预定恒定速率因子和计算复杂性水平编码的所述输入视频的实际比特率代表。3.根据权利要求1所述的系统，其中所述输入视频的所述时间VDL由在用相同预定恒定速率因子和不同计算复杂性水平编码的所述输入视频的所述实际比特率之间的差代表。4.根据权利要求1所述的系统，其中所述输入视频的所述空间VDL由在用不同预定恒定速率因子和相同计算复 杂性水平编码的所述输入视频的所述实际比特率之间的差代表。5.根据权利要求1所述的系统，其中所述参考总VDL、时间VDL和空间VDL来自动态复杂性参考表或者静态复杂性参考表的至少一行。6.根据权利要求5所述的系统，其中所述动态VDL参考表维持根据对所述输入视频编码而生成的所述参考总VDL、时间VDL和空间VDL。7.根据权利要求5所述的系统，其中所述静态VDL参考表维持在视频全集中存储的视频的平均总VDL、时间VDL和空间VDL。8.根据权利要求1所述的系统，其中所述视频代码转换器还被配置为: 用基于与所述输入视频关联的目标比特率从恒定速率因子(CRF)参考比特率模型获得的CRF对所述输入视频编码； 根据所述编码计算修正因子； 用所述修正因子修改所述CRF参考比特率模型；以及 用从修改的所述CRF参考比特率模型获得的所述恒定速率因子对所述输入视频编码。9.根据权利要求8所述的系统，其中所述视频代码转换器还被配置为: 验证用修改的所述恒定比特率因子对所述输入视频编码的所述实际比特率是否在所述输入视频的所述目标比特率的预定范围内。10.根据权利要求1所述的系统，其中所述CRF参考比特率模型被配置为: 对在对多个视频的视频编码的恒定速率因子与速率-失真性能之间的关系建模；并且 从所述建模获得在视频编码的恒定速率因子与平均比特率之间的一个或者多个关系。11.根据权利要求10所述的系统，其中在视频编码的恒定速率因子与速率-失真性能之间的所述关系对在对多个视频编码的恒定速率因子与平均比特率之间的所述关系建模。12.一种用于优化输入视频的编码比特率、失真和复杂性的方法，所述系统包括: 获得所述输入视频的总视频描述长度(VDL)、时间VDL和空间VDL ;并且比较所述输入视频的所述总VDL、所述时间VDL和所述空间VDL与对应的参考总VDL、参考时间VDL和参考空间VDL ； 基于 所述比较调整所述输入视频的编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性；以及 用所述输入视频的调整的所述编码比特率、所述总编码复杂性、所述时间编码复杂性和所述空间编码复杂性对所述输入视频编码。13.根据权利要求12所述的方法，其中所述输入视频的所述总VDL由用预定恒定速率因子和计算复杂性水平编码的所述输入视频的实际比特率代表。14.根据权利要求12所述的方法，其中所述输入视频的所述时间VDL由在用相同预定恒定速率因子和不同计算复杂性水平编码的所述输入视频的所述实际比...

【专利技术属性】
技术研发人员：杨蕾，D·穆克赫吉，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US