通过自举法对感知质量模型不确定性进行量化制造技术

在各种实施例中，自举训练子系统对包括主观评分的训练数据库执行(一个或多个)采样操作，以生成重采样数据集。对于每个重采样数据集，自举训练子系统执行(一个或多个)机器学习操作，以生成不同的自举感知质量模型。自举训练子系统随后使用自举感知质量模型，对由基线感知质量模型针对经编码视频内容的部分生成的感知质量评分的准确性进行量化。有利的是，相对于感知质量评分的准确性未知的现有技术，自举感知质量模型使得开发者和软件应用能够基于感知质量评分得出更有效的结论和/或更可靠地优化编码操作。

【技术实现步骤摘要】
【国外来华专利技术】通过自举法对感知质量模型不确定性进行量化相关申请的交叉引用本申请要求于2018年3月20日递交的序列号为62/645,774(律师案卷号：NETF0191USL)的美国临时专利申请、于2018年11月14日递交的序列号为62/767,454(律师案卷号：NETF0228USL)的美国临时专利申请、于2019年3月13日递交的序列号为16/352,755(律师案卷号：NETF0191US1)的美国专利申请、以及于2019年3月13日递交的序列号为16/352,757(律师案卷号：NETF0191US2)的美国专利申请的优先权。这些相关申请的主题通过引用结合于此。
本专利技术的实施例一般地涉及计算机科学和视频技术，更具体地涉及用于通过自举法(bootstrapping)对感知质量模型不确定性进行量化的技术。
技术介绍
高效且准确地对源视频进行编码是高质量源视频的实时递送的重要方面。由于经编码源视频的质量变化，通常实施质量控制来确保从经编码源视频得出的重建源视频的视觉质量(观看者感知的视觉质量)是可接受的。对重建源视频的视觉质量进行手工核实是令人望而却步地耗时的。因此，自动预测经编码视频质量通常是编码和流传输基础设施的组成部分。例如，在评估编码器/解码器(编解码器)并微调流传输比特率时一般采用自动的经编码视频质量预测来优化经编码视频的质量。一种自动预测经编码视频质量的方法包括：基于与一组经编码训练视频相关联的原始意见评分执行机器学习操作，以生成感知质量模型。原始意见评分是由一组人类主体在观看从该组经编码训练视频解码出的一组重建训练视频时基于该组重建训练视频的感知视觉质量生成的。在训练后，感知质量模型被用来预测各种经编码源视频的感知质量评分。通过这种方式，原始意见评分使得能够更好地预测经编码源视频的感知质量评分。使用感知质量模型的一个缺点在于，由该感知质量模型预测出的感知质量评分的准确性是未知的。更精确地说，用于训练感知质量模型的一组经编码训练视频只是所有经训练视频的少量样本。类似地，提供原始意见评分的该组人类主体指示只是所有观看者的少量样本。一般来说，样本一般并不具有与相关总体相同的平均构成，并且给定样本的构成变化是统计不确定性的来源。因此，该组经编码训练视频和该组人类主体二者都是统计不确定性的来源，这些统计不确定性会降低由感知质量模型预测出的感知质量评分的总体准确性。由于每个感知质量评分的准确性未知，所以基于由感知质量模型生成的感知质量评分得出有效结论并优化编码操作会产生问题。例如，一些编解码器比较应用基于感知质量评分计算Bjontegaard增量比率(BD-rate)，从而相对于参考编解码器的性能来评估测试编解码器的性能。BD-rate值指定在保持相同的感知质量评分的情况下使用测试编解码器进行编码相对于使用参考编解码器进行编码的比特率变化百分比。但是，由于每个感知质量评分的准确性未知，所以BD-rate值的准确性也未知。因此，基于BD-rate值得出有关测试编解码器是否比参考编解码器性能更好的有效结论是不可能的。如前所述，本领域需要用于对感知质量评分的准确性进行量化的技术。
技术实现思路
本专利技术的一个实施例提出了一种用于对感知质量评分的准确性进行量化的计算机实现的方法。该方法包括：对包括主观评分的训练数据库执行一个或多个采样操作，以生成重采样数据集；对于每个重采样数据集，基于该重采样数据集执行一个或多个机器学习操作，以生成不同的自举感知质量模型；以及基于自举感知模型执行一个或多个操作，以对由基线感知质量模型针对经编码视频内容部分生成的感知质量评分的准确性进行量化。所公开的技术相对于现有技术方案的一个技术优势在于，自举感知质量评分的分布与每个基线感知质量评分相关联。自举感知质量评分的分布指示基线感知质量评分的准确性。与感知质量评分的准确性未知的现有技术方案不同，自举感知质量评分的分布使得开发者和软件应用能够基于基线感知质量评分得出更有效的结论和/或更可靠地优化编码操作。特别地，基于自举感知质量评分计算不同的自举Bjontegaard增量比率(BD-rate)值使得开发者和软件应用能够确定基于基线感知质量评分计算出的基线BD-rate值是否有统计学意义，这使得相对于参考编解码器而言测试编解码器能够被进行更可靠的测试。这些技术优势提供了相对于现有技术的一个或多个技术进步。附图说明通过可以更详细地理解本专利技术的上述特征的方式，参考实施例给出以上简要概述的本专利技术的更具体的描述，其中附图中示出了一些实施例。但是，应该注意的是，附图仅示出了本专利技术的一般实施例，因此不应该被认为限制本专利技术的范围，因为本专利技术可以允许其他等效实施例。图1是被配置为实现本专利技术的一个或多个方面的置信建模系统的概念性图示；图2是根据本专利技术的各种实施例的图1的自举训练引擎的更详细的图示；图3是根据本专利技术的其他各种实施例的图1的自举训练引擎的更详细的图示；图4是根据本专利技术的进一步的其他各种实施例的图1的自举训练引擎的更详细的图示；图5A-5B给出了根据本专利技术的各种实施例的用于对感知质量评分的准确性进行量化的方法步骤的流程图；图6是被配置为实现本专利技术的一个或多个方面的Bjontegaard增量比率(BD-rate)重要性系统的概念性图示；图7是根据本专利技术的各种实施例的图6的BD-rate子系统之一的更详细的图示；图8是根据本专利技术的各种实施例的图7的质量比较引擎之一的更详细的图示；以及图9是根据本专利技术的各种实施例的用于对BD-rate的准确性进行量化的方法步骤的流程图。具体实施方式在下面的描述中，给出了很多具体细节，以提供对本专利技术的更透彻的理解。但是，本领域技术人员将明白的是，本专利技术可以在没有这些具体细节中的一个或多个细节的情况下实施。为了优化媒体服务提供给观看者的总体视觉体验，媒体服务提供商常常将自动的经编码视频质量预测实现为编码和流传输基础设施的部分。例如，媒体服务提供商可以采用自动的经编码视频质量预测来评估编码器/解码器(编解码器)和/或微调流传输比特率，从而优化经编码视频的质量。在用于评估经编码视频的质量的典型现有技术中，训练应用基于与一组经编码训练视频相关联的原始意见评分执行机器学习操作，以生成感知质量模型。原始意见评分由一组人类主体在观看从一组经编码训练视频解码出的一组重建训练视频时基于该组重建训练视频的感知视觉质量而生成。在训练后，感知质量模型被用来预测各种经编码源视频的感知质量评分。使用感知质量模型的一个缺点在于，由感知质量模型预测出的感知质量评分的准确性未知。更精确地说，用于训练感知质量模型的一组经编码训练视频并不具有与所有经编码视频相同的平均构成。类似地，提供原始意见评分的一组人类主体并不具有与所有观看者相同的平均构成。因此，该组人类主体和该组经编码训练视频二者都是统计不确定性的来源，该统计不确定性会降低由感知质量模型预测出的感知质量评分的总体准确性。例如，假设“理想”感知质量模本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n对包括主观评分的训练数据库执行一个或多个采样操作，以生成多个重采样数据集；/n对于每个重采样数据集，基于该重采样数据集执行一个或多个机器学习操作，以生成不同的自举感知质量模型；以及/n基于所述自举感知模型执行一个或多个操作，以对由基线感知质量模型针对经编码视频内容部分生成的感知质量评分的准确性进行量化。/n

【技术特征摘要】
【国外来华专利技术】20180320 US 62/645,774;20181114 US 62/767,454;20191.一种计算机实现的方法，包括：
对包括主观评分的训练数据库执行一个或多个采样操作，以生成多个重采样数据集；
对于每个重采样数据集，基于该重采样数据集执行一个或多个机器学习操作，以生成不同的自举感知质量模型；以及
基于所述自举感知模型执行一个或多个操作，以对由基线感知质量模型针对经编码视频内容部分生成的感知质量评分的准确性进行量化。


2.如权利要求1所述的计算机实现的方法，进一步包括：基于所述训练数据库执行一个或多个机器学习操作，以生成所述基线感知质量模型。


3.如权利要求1所述的计算机实现的方法，其中，所述感知质量模型和所述自举感知质量模型中的每个模型将描绘经编码视频内容的一组特征的一组特征值映射到不同的感知质量评分。


4.如权利要求3所述的计算机实现的方法，其中，所述一组特征包括附加损伤度量(ADM)特征、视觉信息保真度(VIF)特征、盲/无参考图像空间质量评估器(BRISQUE)特征以及时间信息(TI)特征中的至少一者。


5.如权利要求1所述的计算机实现的方法，其中，执行所述一个或多个采样操作包括：对所述训练数据库中包括的与训练经编码视频内容的各部分相关联的特征值执行一个或多个重采样替换操作。


6.如权利要求1所述的计算机实现的方法，其中，执行所述一个或多个采样操作包括：对所述主观评分执行一个或多个重采样替换操作，以生成多个重采样主观矩阵。


7.如权利要求1所述的计算机实现的方法，其中，执行所述一个或多个采样操作包括：
对所述训练数据库中包括的与经编码内容的各部分相关联的特征值执行一个或多个重采样替换操作，以生成多个重采样特征矩阵；以及
对所述主观评分执行一个或多个重采样替换操作，以生成多个重采样主观矩阵。


8.如权利要求7所述的计算机实现的方法，进一步包括：将所述多个重采样特征矩阵中包括的每个重采样特征矩阵与所述多个重采样主观矩阵中包括的每个重采样主观矩阵进行组合，以生成所述多个重采样数据集。


9.如权利要求1所述的计算机实现的方法，其中，基于所述自举感知模型执行所述一个或多个操作包括：对于每个自举感知模型，基于所述经编码视频内容部分生成不同的自举感知质量评分，其中，所述自举感知质量评分的分布量化了所述感知质量评分的准确性。


10.如权利要求1所述的计算机实现的方法，其中，基于所述自举感知模型执行所述一个或多个操作包括：
对于每个自举感知模型，基于所述经编码视频内容部分生成不同的自举感知质量评分；以及
基于所述自举感知质量评分和置信等级计算置信区间。


11.一种或多种非暂态计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行以下步骤：
对包括主观评分的训练数据库执行一个或多个采样操作，以生成多个重采样数据集；
对于每个重采样数据集，基于该重采样数据集执行一个或多个机器学习操作，以生成不同的自举感知质量模型；以及
基于所述自举感知模型和经编码视频内容部分计算多个自举感知质量评分，以对由基线感知质量模型针对所述经编码视频内容部分生成的感知质量评分的准确性进行量化。


12.如权利要求11所述的一种或多种非暂态计算机可读介质，其中，所述主观评分中包括的第一主观评分是由人响应于观看所述训练数据库中包括的经编码视频内容部分的重建版本而指派的。


13.如权利要求11所述的一种或多种非暂态计算机可读介质，其中，所述感知质量评分是视频多方法评估融合(VMAF)度量的值。


14.如权利要求11所述的一种或多种非暂态计算机可读介质，其中，执行所述一个或多个采样操作包括：对所述训练数据库中包括的与训练经编码视频内容的各部分相关联的特征值执行一个或多个重采样替换操作。


15.如权利要求11所述的一种或多种非暂态计算机可读介质，其中，执行所述一个或多个采样操作包括：对所述主观评分执行一个或多个重采样替换操作，以生成多个重采样主观矩阵。


16.如权利要求15所述的一种或多种非暂态计算机可读介质，进一步包括：对所述多个重采样主观矩阵中包括的每个重采样主观矩阵执行一个或多个聚合操作，以生成多个主观向量。


17.如权利要求11所述的一种或多种非暂态计算机可读介质，其中，执行所述一个或多个采样操作包括：
对所述训练数据库中包括的与经编码内容的各部分相关联的特征值执行一个或多个重采样替换操作，以生成多个重采样特征矩阵；以及
对所述主观评分执行一个或多个重采样替换操作，以生成多个重采样主观矩阵。


18.如权利要求17所述的一种或多种非暂态计算机可读介质，进一步包括：将所述多个重采样特征矩阵中包括的每个重采样特征矩阵与所述多个重采样主观矩阵中包括的每个重采样主观矩阵进行组合，以生成所述多个重采样数据集。


19.如权利要求11所述的一种或多种非暂态计算机可读介质，进一步包括：基于所述多个自举感知质量评分和置信等级计算置信区间。


20.一种系统，包括：
一个或多个存储器，存储指令；以及
一个或多个处理器，耦合到所述一个或多个存储器，并且在执行所述指令时被配置为：
对包括主观评分和特征值的训练数据库执行一个或多个重采样替换操作，以生成多个重采样数据集；
对于每个重采样数据集，基于该重采样数据集执行一个或多个机器学习操作，以生成不同的自举感知质量模型；以及
基于所述自举感知模型执行一个或多个操作，以对由基线感知质量模型针对经编码视频内容部分生成的感知质量评分的准确性进行量化。
<...

【专利技术属性】
技术研发人员：克里斯托斯·巴皮斯，李智，拉瓦尼亚·沙兰，朱莉·诺瓦克，马丁·丁利，
申请(专利权)人：奈飞公司，
类型：发明
国别省市：美国;US