使用参数和像素级模型的视频质量评估的方法技术

提供了一种执行视频质量评估(VQA)的方法、设备和存储介质。该方法包括获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的VQA，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA；基于对所述第二图像中的每一个图像应用所述基于样本的VQA，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。一个图像的最终得分。一个图像的最终得分。

【技术实现步骤摘要】
【国外来华专利技术】使用参数和像素级模型的视频质量评估的方法
相关申请的交叉引用
[0001]本申请基于并要求于2020年8月10日在美国专利和商标局提交的第63/063,712号美国临时申请和2021年6月29日在美国专利和商标局提交的第17/362,145号美国申请的优先权，这些申请的内容通过引用全部并入本文。


[0002]本公开涉及先进的多媒体
，尤其涉及一种对压缩或未压缩的视频或图像进行质量评估的方法和设备。

技术介绍

[0003]随着可负担的和可靠的用户采集设备以及社交媒体平台的普及，视频和图像已经成为许多人的日常生活。由于随着相机的改进，视觉数据的规模越来越大，视频压缩通常应用于原始视觉数据(例如，相机采集的图像或视频)，以便以更快的速率从一个设备传输到另一个设备。然而，压缩系统通常会引入伪影或导致原始视觉数据的视觉质量降级。因此，可能希望识别视频和图像中某些压缩伪影或降级的存在，以便修复和改善视频的质量。
[0004]一种用于理解和识别压缩伪影或压缩降级的方法，是通过执行视频质量评估(“VQA”)。为了评估视频或图像的质量，人可以在某些环境和测试条件(例如，光照条件、距离等)下对视频进行视觉检查，并且使用例如平均意见得分(“MOS”)来评价视频。然而，这种手动操作的缺点在于，当测试规模很大时，它耗费时间并且产生大量成本。为了在不用人眼的情况下提供对视觉数据质量的快速和经济的评价，使用客观方法来代替这种手动操作。一般而言，VQA中的客观方法分为三类：(1)没有提供参考数据的无参考VQA，(2)提供真值数据的全参考VQA，以及(3)提供部分但不是全部参考数据的部分(缩减的)参考VQA。
[0005]在无参考VQA中，评价方法纯粹基于已解码图像，而不了解原始图像。一些在评价已解码图像时考虑的特征可以包括锐度、梯度等。可以通过将一个或多个特征的行为映射到例如0到100之间的数值来产生得分。
[0006]在全参考VQA中，评价方法基于测试数据和参考数据之间的差异。测试数据和参考数据之间的差异越大，压缩的降级越大。一个示例性指标可以是视频多方法评估融合(Video Multimethod Assessment Fusion，“VMAF”)，其中基于参考和失真视频序列来预测主题视频质量。该指标可以用于评价不同视频编码器的质量。
[0007]在部分参考VQA中，参考数据中仅部分信息可用于评价视频质量。一个示例可以使用码流的编解码参数(例如，量化参数(QP)、图片组(GOP)大小、帧速率、分辨率、比特率等)来估计视频的质量。另一个示例可以是使用参考视频的子集，诸如原始视频和/或图像的下采样版本。
[0008]对于视频和图像的主观评价，通常首选具有低计算复杂度和低系统延迟的视频质量评估方法。然而，当需要执行更密集的计算时，主观评价的准确性可能降低。而且，即使应用无参考VQA，一些应用也可能无法支持在逐像素基础上的密集计算来评价视频的质量。因
此，需要技术方案来实现轻量质量评价，同时保持评价的可靠性。

技术实现思路

[0009]根据一个实施例，提供了一种执行视频质量评估(VQA)的方法。所述方法包括：获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的VQA，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA；基于对所述第二图像中的每一个图像应用所述基于样本的VQA，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
[0010]根据一个实施例，提供了一种用于执行视频质量评估(VQA)的设备。该装置包括：至少一个存储计算机程序代码的存储器；和至少一个处理器，被配置为访问所述至少一个存储器并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：获取代码，所述代码被配置为使所述至少一个处理器获得视频的多个图像，所述多个图像被划分成一个或多个组；第一确定代码，被配置为使所述至少一个处理器确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像，以及基于对所述第一图像中的每一个图像应用所述基于参数的VQA，确定第一得分；第二确定代码，被配置为使所述至少一个处理器确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA，基于对所述第二图像中的每一个图像应用所述基于样本的VQA，确定第二得分；以及输出代码，被配置为使所述至少一个处理器基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
[0011]根据一个实施例，提供了一种非暂时性计算机可读存储介质，存储有计算机程序代码，当计算机程序代码由至少一个处理器执行时，所述至少一个处理器被配置为：获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的VQA，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA；基于对所述第二图像中的每一个图像应用所述基于样本的VQA，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。
附图说明
[0012]以下描述简要介绍了附图，附图说明了本公开的一个或多个实施例。
[0013]图1是根据实施例的视频质量评估设备示意图。
[0014]图2是根据实施例的执行视频质量评估的方法的示意图。
[0015]图3示出了根据实施例的视频质量评估的操作的流程图。
[0016]图4是根据实施例的执行包括对得分进行校准的视频质量评估的方法的示意图。
[0017]图5示出了根据实施例的包括对得分进行校准的视频质量评估的操作的流程图。
[0018]图6是根据实施例的基于视频的复杂度执行视频质量评估的方法的流程图。
[0019]图7示出了根据实施例的基于视频复杂度的视频质量评估的操作的流程图。
[0020]图8示出了根据实施例的用于执行图3的方法的计算机程序代码的框图。
[0021]图9示出了根据实施例的用于执行图5的方法的计算机程序代码的框图。
[0022]图10示出了根据实施例的用于执行图7的方法的计算机程序代码的框图。
具体实施方式
[0023]本文参考附图详细描述了示例实施例。应当理解，本文描述的一个或多个实施例只是示例，不应被解释为限制本公开的范围。
[0024]图1是根据实施例的视频质量评估设备示意图。
[0025]参考图1，视频质量评估(VQS)设备100可以包括处理器110、存储器120、存储器130、输入接口140、输出接口150、通信接口160和总线170。VQS设备100可以被实现为编码器和/或解码器的一部分，以评估视频或图像的质量。然而，一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种执行视频质量评估(VQA)的方法，其特征在于，所述方法包括：获得视频的多个图像，所述多个图像被划分成一个或多个组；确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像；基于对所述第一图像中的每一个图像应用所述基于参数的VQA，确定第一得分；确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA；基于对所述第二图像中的每一个图像应用所述基于样本的VQA，确定第二得分；以及基于所述第一得分和所述第二得分，输出至少一个图像的最终得分。2.根据权利要求1所述的方法，其中，所述确定所述第二图像包括：在所述一个或多个组中的每个组中选择至少一个图像。3.根据权利要求1所述的方法，其中，所述确定所述第二图像包括：以预定时间间隔或预定帧间隔从所述多个图像中选择图像。4.根据权利要求1所述的方法，进一步包括：基于确定所述第二得分对于所述第一图像中的至少一个不可用，校准所述第一得分。5.根据权利要求4所述的方法，其中，所述校准所述第一得分包括：获得序列中一个或多个第一图像，所述一个或多个第一图像在解码顺序上早于所述第一图像中的所述至少一个；获得与所述一个或多个第一图像对应的一个或多个第二图像；基于所述一个或多个第一图像的所述第一得分和所述一个或多个第二图像的所述第二得分，计算所述基于参数的VQA的第一计分系统和所述基于样本的VQA的第二计分系统之间的差异；以及基于所述第一计分系统和所述第二计分系统之间的所述差异来校准所述第一得分。6.根据权利要求1所述的方法，进一步包括：接收关于所述视频的复杂度的信息；以及基于关于所述视频的复杂度的所述信息来调整所述第一得分。7.根据权利要求6所述的方法，其中，关于所述视频的复杂度的所述信息包括所述视频的空间文本信息、所述视频的时间运动信息和所述视频的分辨率中的至少一个。8.根据权利要求6所述的方法，其中，关于所述视频的复杂度的所述信息包括在元数据和快门间隔信息(SEI)消息中的至少一个中。9.根据权利要求1所述的方法，其特征在于，所述第一图像中的至少一个第一图像和所述第二图像中的至少一个第二图像是相同的。10.一种执行视频质量评估(VQA)的设备，包括：至少一个存储计算机程序代码的存储器；和至少一个处理器，被配置为访问所述至少一个存储器并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：获取代码，所述代码被配置为使所述至少一个处理器获得视频的多个图像，所述多个图像被划分成一个或多个组；第一确定代码，被配置为使所述至少一个处理器确定要应用基于参数的VQA的所述多个图像中的第一图像，所述第一图像是所述多个图像中的全部图像，以及基于对所述第一
图像中的每一个图像应用所述基于参数的VQA，确定第一得分；第二确定代码，被配置为使所述至少一个处理器确定所述多个图像中的第二图像，所述第二图像要应用基于样本的VQA，基于对所述第二图像中...

【专利技术属性】
技术研发人员：许晓中，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：