用于基于互补感知质量模型来预测感知视频质量的技术制造技术

在各种实施例中，集成预测应用计算从视觉内容导出的重构视觉内容的质量得分。集成预测应用基于第一特征集的第一组值和第一模型来计算重构视频内容的第一质量得分，该第一模型将第一组值与第一质量得分相关联。集成预测应用基于第二特征集的第二组值和第二模型来计算重构视频内容的第二质量得分，该第二模型将第二组值与第二质量得分相关联。随后，集成预测应用基于第一质量得分和第二质量得分来确定重构视频内容的整体质量得分。整体质量得分指示与流式视频内容相关联的视觉质量的水平。

【技术实现步骤摘要】
【国外来华专利技术】用于基于互补感知质量模型来预测感知视频质量的技术相关申请的交叉引用本申请要求于2018年2月7日提交的、序列号为15/890,710的美国专利申请的权益，其通过引用合并于此。
本专利技术的实施例总体上涉及视频技术，并且更具体地，涉及用于基于互补感知质量模型来预测感知视频质量的技术。
技术介绍
有效且准确地编码源视频内容对于实时传送高质量视频内容至关重要。由于经编码的视频内容质量的变化，期望实施质量控制以确保从经编码的源视频内容解码的重构视频内容的视觉质量是可接受的。手动验证重构视频内容的视觉质量非常耗时。因此，自动视频内容质量评估通常是编码和流式基础结构的组成部分。例如，在评估编码器和微调流式比特率以优化流式视频内容时，可以采用自动视频质量评估。用于自动评估重构视频内容的质量的一些方法涉及基于感知质量模型来计算质量得分，该感知质量模型是基于对视觉质量的人类评估而训练的。通常，感知质量模型将重构视频内容的特征值与不同质量得分相关联。经由感知质量模型来预测重构视频内容的质量的一个限制是感知质量模型通常缺乏鲁棒性。例如，如果与感知质量模型相关联的特征均未反映某些类型的失真，则感知质量模型无法准确地预测人类对包括这种失真的重构视频内容的质量的感知。特别地，感知质量模型通常无法可靠地预测包括在公共域的实时视频质量数据库中的重构视频内容的感知视觉质量。对关于实时视频质量数据库的感知质量模型的缺陷的分析表明，与感知质量模型相关联的特征都无法准确地对可归因于许多类型的复杂时间视频失真的感知质量下降进行建模。复杂时间视频失真的示例包括但不限于运动估计不匹配、闪烁和重影。如前所述，本领域需要更有效的技术来预测重构视频内容的感知质量。
技术实现思路
本专利技术的一个实施例阐述了一种用于预测重构视频内容的感知视频质量的计算机实现的方法。该方法包括：基于第一特征集的第一组值和第一模型来计算重构视频内容的第一质量得分，该第一模型将第一组值与第一质量得分相关联，其中，第一模型是经由第一机器学习算法生成的；基于第二特征集的第二组值和第二模型来计算重构视频内容的第二质量得分，该第二模型将第二组值与第二质量得分相关联；以及基于第一质量得分和第二质量得分来确定重构视频内容的整体质量得分，其中，整体质量得分指示与流式视频内容相关联的视觉质量的水平。所公开的用于预测感知视频质量的技术的至少一个优点是，整体质量得分准确地预测了跨多种重构视频内容的感知视频质量。特别地，相对于现有技术的至少一项技术改进是，所公开的技术聚合了经由与不同特征集相关联的不同感知质量模型而获得的质量得分，以确定整体质量得分。因为特征在感知质量模型之间分布，所以所公开的技术降低了增加特征的总数导致归因于过度拟合的不准确的可能性。附图说明为了可以详细地理解本专利技术的上述特征的方式，通过参考实施例，可以获得上面简要概述的本专利技术的更具体的描述，其中一些实施例在附图中示出。然而，应当注意，附图仅示出了本专利技术的典型实施例，并且因此不应当被视为对本专利技术范围的限制，因为本专利技术可以允许其他等效实施例。图1是被配置为实现本专利技术的一个或多个方面的系统的概念图；图2是根据本专利技术的各种实施例的图1的时间提取器的更详细图示；图3是根据本专利技术的各种实施例的用于计算重构视频内容的质量得分的方法步骤的流程图；图4是被配置为实现本专利技术的一个或多个方面的集成系统的概念图；以及图5是根据本专利技术的各种实施例的用于基于两个不同特征集来计算重构视频内容的整体质量得分的方法步骤的流程图。具体实施方式在下面的描述中，阐述了许多具体细节以提供对本专利技术的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本专利技术。所公开的技术经由将特征值与质量得分相关联的感知质量模型来有效且可靠地预测重构视频内容的质量得分。应当注意，感知质量模型与多个时间特征相关联，其中每个时间特征与不同的缩放比例(scale)相关联。在操作中，时间提取器基于重构视频内容、关联视频内容以及与时间特征相关联的缩放比例来计算特定时间特征的每帧值。对于给定的帧，时间提取器计算一个帧间差分矩阵，该帧间差分矩阵指定了帧与相邻帧之间的亮度差。然后，时间提取器基于缩放比例对帧间差分矩阵进行下采样以生成经缩放的帧间差分矩阵。随后，时间提取器对经缩放的帧间差分矩阵执行时间滤波操作和局部均值减法运算，以计算局部均值相减矩阵。然后，时间提取器对经缩放的帧间差分矩阵执行调节操作以生成与重构视频内容的帧相关联的第一加权熵矩阵。以类似的方式，时间提取器基于视频内容和缩放比例来得出第二加权熵矩阵。时间提取器在第一加权熵矩阵和第二加权熵矩阵之间执行减法运算以计算熵差矩阵。最后，时间提取器对熵差矩阵执行空间池化操作，以生成重构视频内容的帧的时间特征的单个值。因为以多个缩放比例计算熵差矩阵可以模拟人类视觉系统如何处理视觉信息的各个方面，所以感知质量模型可以准确地对归因于许多类型的复杂时间视频失真的感知质量下降进行建模。在一些实施例中，集成预测引擎基于两个感知质量模型来计算用于重构视频内容的集成质量得分。感知质量模型中的每一个都将不同的特征集的值与不同质量得分相关联。集成预测引擎将通过两个感知质量模型而获得的质量得分进行合成，以获得总质量得分。有利地，在两个预测质量模型之间分配特征降低了增加特征的总数导致归因于过度拟合的不准确的可能性。系统概述图1是被配置为实现本专利技术的一个或多个方面的系统100的概念图。如图所示，系统100包括但不限于任何数量的计算实例110、训练数据库120、客观数据库150、主观数据库182和目标特征数据库170。出于说明的目的，相似对象的多个实例是用标识对象的附图标记和在需要的情况下标识实例的括号内的数字表示的。在各种实施例中，系统100的任何数量的组件可以分布在多个地理位置上或以任何组合被包括在一个或多个云计算环境(即，经封装的共享资源、软件、数据等)中。如图所示，计算实例110中的每一个包括但不限于处理器112和存储器116。处理器112可以是能够执行指令的任何指令执行系统、装置或设备。例如，处理器112可以包括中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、状态机或前述的任何组合。存储器116存储诸如软件应用和数据之类的内容，以供计算实例110的处理器112使用。存储器116可以是随时可用的存储器中的一个或多个，例如随机存取存储器(RAM)、只读存储器(ROM)、软盘、硬盘或本地或远程的任何其他形式的数字存储装置。在一些实施例中，存储装置(未示出)可以补充或替换存储器116。存储装置可以包括处理器112可访问的任何数量和类型的外部存储器。例如，但不限于，存储装置可以包括安全数字卡、外部闪存、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述的任何合适组合。通常，计算实例110被配置为实现一个或多个应用。仅出于说明的目的，每本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n基于第一特征集的第一组值和第一模型来计算重构视频内容的第一质量得分，所述第一模型将所述第一组值与所述第一质量得分相关联，其中，所述第一模型是经由第一机器学习算法生成的；/n基于第二特征集的第二组值和第二模型来计算所述重构视频内容的第二质量得分，所述第二模型将所述第二组值与所述第二质量得分相关联；以及/n基于所述第一质量得分和所述第二质量得分来确定所述重构视频内容的整体质量得分，其中，所述整体质量得分指示与流式视频内容相关联的视觉质量的水平。/n

【技术特征摘要】
【国外来华专利技术】20180207 US 15/890,7101.一种计算机实现的方法，包括：
基于第一特征集的第一组值和第一模型来计算重构视频内容的第一质量得分，所述第一模型将所述第一组值与所述第一质量得分相关联，其中，所述第一模型是经由第一机器学习算法生成的；
基于第二特征集的第二组值和第二模型来计算所述重构视频内容的第二质量得分，所述第二模型将所述第二组值与所述第二质量得分相关联；以及
基于所述第一质量得分和所述第二质量得分来确定所述重构视频内容的整体质量得分，其中，所述整体质量得分指示与流式视频内容相关联的视觉质量的水平。


2.根据权利要求1所述的计算机实现的方法，其中，所述第一质量得分和所述第二质量得分与所述重构视频内容中包括的第一帧相关联，并且确定所述整体质量得分包括：
基于所述第一质量得分和所述第二质量得分来确定与所述第一帧相关联的第一聚合质量得分；以及
对所述第一聚合质量得分和第二聚合质量得分执行一个或多个时间池化操作以计算所述整体质量得分，所述第二聚合质量得分与所述重构视频内容中包括的第二帧相关联。


3.根据权利要求2所述的计算机实现的方法，其中，确定所述第一聚合质量得分包括计算所述第一质量得分和所述第二质量得分的平均值或加权平均值。


4.根据权利要求2所述的计算机实现的方法，其中，确定所述第一聚合质量得分包括基于第三模型将所述第一质量得分和所述第二质量得分与所述第一聚合质量得分相关联，所述第三模型是经由所述第一机器学习算法或第二机器学习算法生成的。


5.根据权利要求1所述的计算机实现的方法，其中，所述第一特征集包括所述第二特征集中未包括的第一特征，并且所述第二特征集包括所述第一特征集中未包括的第二特征。


6.根据权利要求1所述的计算机实现的方法，其中，所述第一特征集包括时间特征和空间特征。


7.根据权利要求1所述的计算机实现的方法，其中，所述第一特征集包括以下各项中的至少一项：附加损伤测量特征、盲或无参考图像空间质量评估器特征以及视觉信息保真度特征。


8.根据权利要求1所述的计算机实现的方法，还包括：基于所述第一机器学习算法和多个主观得分来生成所述第一模型，其中，所述多个主观得分中包括的每个主观得分与不同的重构测试视频内容相关联。


9.根据权利要求8所述的计算机实现的方法，还包括：基于所述多个主观得分来生成所述第二模型。


10.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由处理器执行时使得所述处理器执行以下步骤：
基于第一特征集的第一组值和第一模型来计算重构视频内容的第一质量得分，所述第一模型将所述第一组值与所述第一质量得分相关联，其中，所述第一模型是经由第一机器学习算法生成的；
基于第二特征集的第二组值和第二模型来计算所述重构视频内容的第二质量得分，所述第二模型将所述第二组值与所述第二质量得分相关联，其中，所述第二模型是经由所述第一机器学习算法或第二机器学习算法生成的；以及
基于所述第一质量得分和所述第二质量得分来确定所述重构视频内容的整体质量得分，其中，所述整体质量得分指示与流式视频内容相...

【专利技术属性】
技术研发人员：李智，克里斯托斯·巴姆皮斯，
申请(专利权)人：奈飞公司，
类型：发明
国别省市：美国;US