一种结合JND和VMAF的视频质量评估方法技术

本发明专利技术公开了一种结合JND和VMAF的视频质量评估方法，属于视频编码、视频质量评价技术领域。本方法根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。本方法通过替换像素把失真图像差值低于JND值的像素都替换成原始图像后，得到新的失真图像，在新的失真图像上计算VMAF可以把低于JND值的像素忽略掉，即把人眼不敏感的区域忽略掉，从而使视频质量评价结果更加接近主观。

【技术实现步骤摘要】
一种结合JND和VMAF的视频质量评估方法
本专利技术涉及视频编码、视频质量评价
，尤其涉及一种结合JND和VMAF的视频质量评估方法。
技术介绍
图像质量评价是图像处理中的一个重要环节，图像质量评价方法分为主观评价和客观评价。人眼作为图像的最终接收器，是对于图像质量的最真实的反馈者，所以采用人眼直接观察作为主观评估图像质量的方法是最为直接且可靠的评价方法。但是，主观评价的方法影响因素众多，需要耗费大量的人力成本和时间成本，且可复制性差，无法应用于实时在线的评价系统。客观图像质量评价算法能较好地嵌入系统，能实现实时评价且成本低，适用于实际应用当中。但是由于现有的客观图像质量评价算法没有考虑到人眼的视觉特性，在一些复杂场景下，往往会出现评估结果与主观质量评估相差较大的情况，因此，开发出模拟人眼主观评价的图像客观质量评价方法是意义重大的。目前，HVS研究的一个重要成果是建立了恰可察觉失真（JND）模型，即像素中任何低于JND的误差不会被人眼所感知，通过JND模型隐藏多视点视频中大量不可感知的误差，将有效的改善目前的客观图像质量评价算法的评估结果，基于JND的图像质量评价方案能够有效的去除时域、空域和感知冗余，使图像质量评价结果更加接近主观。
技术实现思路
本专利技术提供了结合JND和VMAF进行视频质量评估的方法。本专利技术的核心思想在于将主客观视频质量评价方法相结合：首先根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素。对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；进而使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；最后对所有图像帧的质量评估结果取平均值得到该视频的质量评估结果。一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤。步骤1根据人眼成像原理建立图像的JND模型。步骤1.1筛选一批高清视频，对其进行压缩，得到失真的视频。步骤1.2计算高清视频每帧每像素的JND，用JND(x,y,t)表示。步骤1.3计算失真图像像素和对应的高清图像像素的差值Diff。步骤1.4Diff与JND(x,y,t)进行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像。步骤2使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果。步骤3对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。本专利技术的有益之处在于：在新的原始图像和失真图像上计算VMAF之后可以把低于JND阈值的像素的图像忽略掉，即把人眼不敏感的部分忽略掉，从而使评价结果更加接近主观；且兼顾了客观图像质量评价算法较好地嵌入性、低成本和泛化能力。附图说明图1为本专利技术一种结合JND和VMAF进行视频质量评估的方法的流程图。图2为本专利技术根据人眼成像原理建立图像的JND模型的流程图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。下面结合附图对本专利技术作更进一步的说明。如图1所示，本专利技术一种结合JND和VMAF进行视频质量评估的方法具体包括以下步骤。（1）如图2所示，根据人眼成像原理建立图像的JND模型。（1.1）筛选一批高清视频，对其进行压缩，得到失真的视频。（1.2）计算高清视频每帧每像素的JND，用JND(x,y,t)表示。（1.2.1）像素域的JND分为空域JND和时域JND，空域JND又由背景亮度JND和纹理掩蔽JND组成，对于像素（x,y）的空域计算公式如下：其中，和分别是背景亮度自适应和纹理掩蔽效应的视觉门限，是掩蔽中重叠效应。（1.2.2）对于像素(x,y)的时域JND计算公式如下：其中是由时域掩蔽效应产生的调制因子，为t帧和t-1帧之间的平均帧间亮度，τ表示时域掩蔽效应可调节参数（默认值为1.0），exp表示指数函数。（1.2.3）综合考虑时间、背景亮度、纹理对失真的影响，对于像素域的JND模型的计算公式如下：。（1.3）然后计算失真图像像素和其对应的高清图像像素的差值Diff，。（1.4）Diff与JND(x,y,t)行比较，如果差值Diff小于JND(x,y,t)，就把失真图像的像素替换成原始图像的像素，对于失真图像的每一个像素都进行这样的操作之后，得到新的失真图像，若，则。（2）使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果。（3）最后对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。上述具体实施方式，并不构成对本专利技术保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本专利技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本专利技术保护范围之内。本文档来自技高网...

【技术保护点】
1.一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤：/n步骤1 根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素，对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；/n步骤2 使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；/n步骤3 对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。/n

【技术特征摘要】
1.一种结合JND和VMAF的视频质量评估方法，其特征在于，包括以下步骤：
步骤1根据人眼成像原理建立图像的JND模型，计算原视频每帧每像素的JND值，将失真图像与原图像在每个像素上的差值与该像素JND值进行对比，如果差值小于JND值的话，就把失真图像的像素替换成原始图像的像素，对失真图像的每一个像素都进行这样的操作之后，得到新的失真图像；
步骤2使用标准VMAF算法对新的失真图像和原始图像进行评分，得到该帧的质量评估结果；
步骤3对所有图像帧的质量评估结果取平均值得到整个视频的质量评估结果。

...

【专利技术属性】
技术研发人员：梅元刚，王明琛，孙作潇，刘宇新，朱政，
申请(专利权)人：杭州微帧信息科技有限公司，
类型：发明
国别省市：浙江;33