基于感知质量的可缩放视频编码速率适配制造技术

在一系列感知质量水平之上对多层视频结构进行扩展。基于估计平均意见评分(eMOS)的编码器控制回路用于确定与特定的感知质量水平相关联的一个或多个编码器关键性能指标(KPI)。基于KPI的编码器控制回路然后用于在不重新计算可扩展结构的eMOS的情况下引导生成具有质量增强层和/或时间增强层和/或空间增强层的分层结构。另外，eMOS用于针对给定的比特率预算在最佳感知质量水平上引导对分层结构的所述生成。可以通过丢弃分段、改变分层结构或改变KPI目标值来进行速率适配。由于所述结构根据感知质量而扩展，随着所述编码速率被适配，感知质量可预测地受到影响。

【技术实现步骤摘要】
【国外来华专利技术】优先权声明本申请要求于2014年3月27日提交的题为“SCALABLEVIDEOENCODINGRATEADAPTATIONBASEDONPERCEIVEDQUALITY(基于感知质量的可缩放视频编码速率适配)”的美国专利申请序列号14/227,729的优先权，并且所述专利申请以全部内容通过引用结合。
技术介绍
视频编码技术使数字视频的高效传输成为可能。一些实时视频流式传输应用(如视频会议)要求特别高，因为用户体验取决于高效且稳健的编码技术以实现最小的延迟和适当的图像质量。作为视频传输平台的无线信道进一步约束了编码技术，因为基干网络经常具有非常动态的信道带宽。对每个视频帧进行编码所需的比特数被称为编码速率并且贯穿视频序列经常不是恒定的。在视频编码器处实现速率控制以保证对被流式传输至解码器中的视频数据进行成功解码和显示。视频编解码器具有用于提高或降低编码速率的可调整的压缩参数以便适应各种类型的信道的不同的传输带宽。可缩放视频编码(SVC)规定包括在H.264/MPEG-4第10部分高级视频编解器(AVC)视频压缩标准的附件G延伸中。H.264标准已经由联合视频组(JVT)拟定，联合视频组包括ITU-TSG16Q.6(也被称为VCEG(视频编码专家组))以及被称为MPEG(运动图像专家组)的ISO-IECJTC1/SC29/WG11(2003)。SVC使视频比特流的编码标准化，所述视频比特流还包含需要较小带宽的一个或多个子集比特流。子集比特流可以支持不同的空间分辨率(屏幕大小)、不同的时间分辨率(帧速率)或者不同质量(SNR)的视频信号。SVC技术作为一种处理编码器比特率预算变化的手段在实时视频流式传输应用中可能是有用的。在SVC标准中，针对实现方式存在相当大的宽容度，这在视频质量与呈现视频所需的数据数量(即，比特率)之间存在复杂关系时可以提供高级视频流式传输服务。通常，比特率越高，编码器的空间频率频谱近似越准确。但是，更高的准确性可能不一定为人类观察者产生更高的感知质量。附图说明在附图中通过举例而非限制的方式展示了在此所描述的材料。为了展示的简单和清楚，图中所展示的元件不一定按比例绘制。例如，为清楚起见，某些元件的尺寸相对于其他元件可能被放大了。此外，在认为适当的情况下，在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中：图1是根据实施例的基于感知质量的视频编码速率控制架构的功能框图；图2是展示根据实施例的基于感知质量的视频编码速率控制方法的流程图；图3A是展示根据实施例的将KPI目标与感知质量目标进行关联的方法的流程图；图3B是展示用于基于感知质量生成分层编码流的方法的流程图；图4A是进一步展示根据示例性实施例的确定PSNR目标的数据流图；图4B是进一步展示根据实施例的基于PSNR目标生成分层编码流的数据流图；图4C是进一步展示校准非分层编码流是如何被采用作为分层编码流的速率控制的基础的功能框图；图5A展示了跨越一系列感知质量的同时广播结构；图5B和图5C展示了根据实施例的用基于感知质量速率控制生成的两个分层结构；图6A展示了根据实施例的包括基于感知质量水平构造的三个不同的扩展流的示例性时间质量结构；图6B展示了根据实施例的响应于网络拥塞的基于感知质量的分层结构适配；图7展示了根据实施例的用于对感知质量导向的分层结构进行适配的方法；图8A展示了根据实施例的可以针对由当前比特率预算准许的最佳感知质量实时构造的示例性双流结构；图8B展示了根据实施例响应于网络拥塞对图8A中展示的双流结构进行的适配；图9是展示了符合一个或多个实施例的针对感知质量导向的视频编码速率适配配置的联网通信系统的功能框图；图10是根据实施例的示例性系统的图解；以及图11是根据实施例安排的示例性系统的图解。具体实施方式参照附图描述了一个或多个实施例。虽然对特定配置和安排进行了详细的描绘和讨论，但应理解，这样做仅出于说明目的。相关领域中的技术人员将认识到，在不背离本说明的精神和范围的情况下，其他配置和安排是有可能的。将对相关领域的技术人员明显的是，在此描述的技术和/或安排可以在超出在此详细描述的系统和应用之外的各种各样的其他系统和应用中被采用。在以下详细的说明书中对附图进行参考，这些附图形成说明书的一部分并且展示了示例性实施例。此外，应当理解，在不背离要求保护的主题的范围的情况下，可以利用其他实施例并且可以做出结构的和/或逻辑的改变。因此，以下详细说明不应以限制的含义来理解并且要求保护的主题的范围仅由所附权利要求书及其等效物来限定。在以下描述中，陈述了许多细节，然而，将对本领域技术人员明显的是，实施例可以在没有限制特定细节的情况下被实践。众所周知的方法和设备是以框图形式而非详细地示出的，以避免模糊更显著的方面。贯穿本说明书对“实施例(anembodiment)”或“一个实施例(oneembodiment)”的引用意味着在至少一个实施例中包括了与所述实施例结合描述的具体特征、结构、功能或特性。因此，贯穿本说明书在各处出现的短语“在实施例中(inanembodiment)”或在“在一个实施例中(inoneembodiment)”并非必须指同一个实施例。此外，在实施例的上下文中描述的具体特征、结构、功能或特性可以用任何适当的方式组合在一个或多个实施例中。例如，第一实施例可以与第二实施例在任何地方进行组合，其中，与这两个实施例相关联的具体特征、结构、功能或特性不相互排斥。如在示例性实施例和所附权利要求书的描述中使用的，除非上下文另外明确指示，否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包括复数形式。还将理解的是，如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和所有可能组合。如贯穿说明书并且在权利要求书中使用的，由术语“的至少一个(atleastoneof)”或“的一个或多个(oneormoreof)”联接的项列表可以意味着所例举的项的任意组合。例如，短语“A、B或C中的至少一者”可以意味着A；B；C；A和B；A和C；B和C；或者A、B和C。术语“耦合”和“连接”连同其衍生词在此可以用于描述部件之间的功能关系或结构关系。应当理解，这些术语对于彼此并非旨在作为同义词。而是，在具体实施例中，“连接”可以用于指示两个或更多个元件彼此直接进行物理的、光学的或电学的接触。“耦合”可以用于指示两个或更多个元件彼此进行直接的或间接的(在它们之间具有介入元件)物理的、光学的或电学的接触，和/或指示两个或更多个元件彼此合作或交互(例如，由于因果关系的原因)。就对计算机存储器内的数据比特进行的操作的算法和符号表示而言，呈现在此提供的详细说明书的一些部分。如从以下讨论中明显的是，除非另外特别声明，否则应认识到，贯穿本说明书，使用如“运算(calculating)”、“计算(computing)”、“确定(determining)”、“估计(estimating)”、“存储(storing)”、“收集(collecting)”“显示(displaying)”、“接收(receiving)”、“合并(consolidating)”、“生成(generating)”、“更新(upda本文档来自技高网...

【技术保护点】
一种计算机实现的可缩放视频编码(SVC)方法，包括：接收原始视频帧；使用编码参数值将所述帧编码为分层流，所述编码参数值是基于与分配给所述分层流的每一层的感知质量水平目标相关联的编码关键性能指标(KPI)目标来确定的；以及将所述分层流存储在存储器中。

【技术特征摘要】
【国外来华专利技术】2014.03.27 US 14/227,7291.一种计算机实现的可缩放视频编码(SVC)方法，包括：接收原始视频帧；使用编码参数值将所述帧编码为分层流，所述编码参数值是基于与分配给所述分层流的每一层的感知质量水平目标相关联的编码关键性能指标(KPI)目标来确定的；以及将所述分层流存储在存储器中。2.如权利要求1所述的方法，进一步包括对所述分层流的所述编码进行适配以便响应于网络拥塞通过在降低的KPI目标上丢弃时间增强层或任何剩余时间增强层的编码帧来改变所述感知质量水平。3.如权利要求1所述的方法，进一步包括：对所述分层流的所述编码进行适配以便响应于网络拥塞通过改变所述分层结构内的帧时间、空间或质量层水平来改变所述感知质量水平。4.如权利要求1所述的方法，进一步包括：针对非分层结构中的帧，通过浮动编码参数并且对所述帧进行迭代编码直到达到预定感知质量水平目标来确定与所述预定感知质量水平目标相对应的所述编码参数值；从用所述编码参数值编码的数据来重构帧；以及基于所述重构帧与所述相应的原始帧之间的差异来生成与所述预定感知质量水平目标相关联的所述KPI目标。5.如权利要求1所述的方法，其中，所述感知质量水平目标包括估计平均意见评分(eMOS)；所述编码参数是量化参数(QP)；所述KPI目标是峰值信噪比(PSNR)；并且针对与相同的eMOS相关联的所述分层流的任何层中的编码帧采用相同的目标PSNR值。6.如权利要求1所述的方法，进一步包括确定当前比特率预算；并且其中，将所述帧编码为所述分层流进一步包括：响应于所述当前比特率预算满足阈值而利用基于与第一感知质量目标相关联的第一KPI目标所确定的编码参数值来对基层的帧以及分层预测增强层的帧进行编码；并且响应于所述当前比特率预算未能满足所述阈值而利用基于与第二感知质量目标相关联的第二KPI目标所确定的编码参数值来对所述基层的帧以及所述分层预测增强层的帧进行编码，所述第二感知质量目标比所述第一感知质量目标低。7.如权利要求6所述的方法，进一步包括：针对非分层结构中的帧，通过浮动第一编码参数并且对所述帧进行迭代编码直到达到所述第一感知质量目标来确定与所述第一感知质量目标相对应的所述第一编码参数值；从用所述第一编码参数值编码的数据来重构帧；基于所述重构帧与所述相应的原始帧之间的差异生成与所述第一感知质量目标相关联的所述第一KPI目标；针对所述非分层结构中的帧，通过浮动第二编码参数并且对所述帧进行迭代编码直到达到所述第二感知质量目标来确定与所述第二感知质量目标相对应的所述第二编码参数值；从用所述第二编码参数值编码的数据来重构帧；并且基于所述重构帧与所述相应的原始帧之间的差异生成与所述第二感知质量目标相关联的所述第二KPI目标。8.如权利要求6所述的方法，其中：利用基于第一KPI目标确定的编码参数值对所述基层帧进行编码进一步包括对多个关键帧进行迭代编码，同时浮动所述编码参数值直到达到所述第一KPI目标；并且利用所述第一编码参数值对所述增强层帧进行编码进一步包括对依赖于所述关键帧的一个或多个帧进行迭代编码，同时浮动所述编码参数值直到达到所述第一KPI目标。9.如权利要求1所述的方法，进一步包括：构造包括所述分层流的主要编码视频流；以及构造与最低感知质量和最低比特率相关联的辅助编码视频流。10.如权利要求9所述的方法，其中：将所述帧编码为所述分层流进一步包括：通过利用基于与最高感知质量目标相关联的第一KPI目标确定的编码参数值对第一基层的帧以及第一分层预测增强层的帧进行编码来将所述帧编码为第一分层流；并且所述方法进一步包括：通过利用基于与较低感知质量目标相关联的第二KPI目标确定的编码参数值对第二基层的帧以及第二分层预测增强层的帧进行编码来将所述帧编码为第二分层流；确定当前比特率预算；以及从与由所述当前比特率预算准许的最佳感知质量相关联的所述第一或第二分层流来构造所述主要编码视频流。11.如权利要求9所述的方法，其中：将所述帧编码为所述分层流进一步包括：通过利用基于与最高感知质量目标相关联的第一KPI目标确定的编码参数值对第一基层的帧以及第一分层预测增强层的帧进行编码来将所述帧编码为第一分层流；构造所述辅助流进一步包括重新发送所述第一分层流的关键帧；并且响应于比特率预算减少，所述方法进一步包括：通过利用基于与较低感知质量目标相关联的第二KPI目标确定的编码参数值对第二基层的帧以及第二分层预测增强层的帧进行编码来将所述帧编码为第二分层流；并且其中，构造所述辅助流包括发送针对所述第二分层流的关键帧的差错恢复...

【专利技术属性】
技术研发人员：V·巴布拉查，S·拉夫盖德，T·T·阿佐古一，Y·廖，V·S·索马雅祖鲁，
申请(专利权)人：英特尔IP公司，
类型：发明
国别省市：美国;US