一种面向视频压缩的人眼恰可察觉失真的预测方法及系统技术方案

本发明专利技术提供一种面向视频压缩的人眼恰可察觉失真的预测方法及系统，其中，方法包括：获取原视频及所述原视频对应的压缩视频；通过预设基于二分类模型的压缩视频感知失真判别器对所述原视频的时空域融合信息及所述压缩视频的时空域融合信息提取，并对压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合；其中，所述压缩视频感知失真判别结果集合包括真值和假值；在搜索空间域中，根据搜索策略对所述压缩视频感知失真判别结果集合进行处理，以预测所述原视频在压缩过程中的恰可察觉失真阈值。本发明专利技术预测的是整段视频在压缩过程中的恰可察觉感知失真阈值，能更准确反应人眼视觉系统对整段压缩视频质量的感知情况，大大提高了预测准确率。大提高了预测准确率。大提高了预测准确率。

【技术实现步骤摘要】
一种面向视频压缩的人眼恰可察觉失真的预测方法及系统


[0001]本专利技术涉及视频处理
，特别是涉及一种面向视频压缩的人眼恰可察觉失真的预测方法及系统。

技术介绍

[0002]图像/视频压缩是缓解流媒体服务中数据存储与传输压力的重要手段，能有效降低运营商与消费者的成本，促进流媒体服务行业的快速发展。已有的图像/视频编码方法从视觉内容的统计特性出发，主要消除了图像/视频在信号上的冗余以及部分视觉冗余，已达到了相当高的压缩率，难以进一步提升压缩率。视觉心里研究表明，人类视觉系统(Human Visual System，HVS)对图像和视频质量的感知受到图像和视频的亮度、对比度、纹理、颜色以及运动等多种因素的影响，并且存在空间、时间以及彩色等的掩蔽效应现象，不同的图像产生不同的掩蔽效应，当不同图像发生同等程度的失真时，人眼对其失真的可察觉度不同，恰可察觉失真(Just Noticeable Distortion，JND)为HVS对图像/视频失真的可见性进行度量，JND阈值即为失真可见的最小值。因此若能对HVS的JND感知特性进行研究分析，实现对不同图像/视频内容JND阈值的准确预测并将其合理集成到现有编码方法中，则可在图像/视频压缩中进一步消除视觉冗余，进一步提高压缩率。
[0003]已有的JND模型大致可以分为像素域模型、离散余弦变换(Discrete Cosine Transform，DCT)域模型和图像/视频级JND模型。像素域模型直接估算每个像素的JND阈值；DCT域模型首先将图像转换到DCT域，然后估计每个子频率系数的JND阈值；图像/视频级JND模型直接预测整幅图像或整个视频的JND阈值。
[0004]已有的JND模型主要存在以下不足：1)像素域/DCT域模型估计图像中每一像素/子频率的JND阈值，不能准确反应整个视频的JND阈值，而人眼视觉系统以整个视频为基本感知单元；另外这两类模型主要用来估计原始图像的JND阈值，未考虑失真图像JND阈值的估计，在实际的应用中有受限；2)图像级JND模型未考虑视频时域失真因素，直接预测视频的JND阈值准确率较低；3)已有视频级JND模型依赖手工特征的提取，然而手工特征存在视频表征能力弱的问题，难以适应多样化视频的表征。

技术实现思路

[0005]为解决以上现有技术中的问题，本专利技术提供一种面向视频压缩的人眼恰可察觉失真的预测方法及系统，预测视频在压缩失真中的JND阈值，提高了JND阈值预测的准确性。
[0006]本专利技术第一方面提供一种面向视频压缩的人眼恰可察觉失真的预测方法，包括：
[0007]获取原视频及所述原视频对应的压缩视频；
[0008]通过预设基于二分类模型的压缩视频感知失真判别器对所述原视频的时空域融合信息及所述压缩视频的时空域融合信息进行提取，并对所述压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合；其中，所述压缩视频感知失真判别结果集合包括真值和假值；
[0009]在搜索空间域中，根据搜索策略对所述压缩视频感知失真判别结果集合进行处理，以预测所述原视频在压缩过程中的恰可察觉失真阈值。
[0010]本专利技术第二方面提供一种面向视频压缩的人眼恰可察觉失真的预测系统，包括：
[0011]视频获取模块，用于获取原视频及所述原视频对应的压缩视频；
[0012]压缩视频感知失真判别模块，用于通过预设基于二分类模型压缩视频的感知失真判别器对所述原视频的时空域融合信息及所述压缩视频的时空域融合信息进行提取，并对所述压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合；其中，所述压缩视频感知失真判别结果集合包括真值和假值；
[0013]处理模块，用于在搜索空间域中，根据搜索策略对所述压缩视频感知失真判别结果集合进行处理，以预测所述原视频在压缩过程中的恰可察觉失真阈值。
[0014]本专利技术第三方面提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任意一项所述的面向视频压缩的人眼恰可察觉失真的预测方法。
[0015]本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述第一方面中任意一项所述的面向视频压缩的人眼恰可察觉失真的预测方法。
[0016]与现有技术相比，本专利技术实施例的有益效果在于：
[0017]本专利技术预测的是整段视频在压缩过程中的恰可察觉感知失真阈值，能更准确反应人眼视觉系统对整段压缩视频质量的感知情况，通过将视频的JND阈值估计问题转换成二分类问题，降低了对视频的JND估计的难度，并从时域以及空域两个维度提取视频失真敏感性特征，最终确定视频级JND阈值，大大提高了预测准确率。
附图说明
[0018]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术某一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方法的应用环境的示意图；
[0020]图2是本专利技术某一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方法的流程图；
[0021]图3是本专利技术另一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方法的流程图；
[0022]图4是本专利技术某一实施例提供的全参考二分类判别器的框架图；
[0023]图5是本专利技术某一实施例提供的基于时空域特征融合的失真判别网络的框架图；
[0024]图6是本专利技术又一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方法的流程图；
[0025]图7是本专利技术某一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方法的实验结果图；
[0026]图8是本专利技术另一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测方
法的实验结果图；
[0027]图9是本专利技术某一实施例提供的一种面向视频压缩的人眼恰可察觉失真的预测系统的装置图；
[0028]图10是本专利技术某一实施例提供的一种电子设备的结构图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]第一方面。
[0031]请参阅图1，图1为本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以包括业务服务器01、面向视频压缩的人眼恰可察觉失真预测组件02和客户端03。
[0032]本专利技术实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向视频压缩的人眼恰可察觉失真的预测方法，其特征在于，包括：获取原视频及所述原视频对应的压缩视频；通过预设基于二分类模型的压缩视频感知失真判别器对所述原视频的时空域融合信息及所述压缩视频的时空域融合信息进行提取，并对所述压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合；其中，所述压缩视频感知失真判别结果集合包括真值和假值；在搜索空间域中，根据搜索策略对所述压缩视频感知失真判别结果集合进行处理，以预测所述原视频在压缩过程中的恰可察觉失真阈值。2.如权利要求1所述的一种面向视频压缩的人眼恰可察觉失真的预测方法，其特征在于，所述通过预设基于二分类模型的压缩视频感知失真判别器对所述原视频的时空域融合信息及所述压缩视频的时空域融合信息进行提取，并对所述压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合，包括：通过固定采样步长方法分别对所述原视频及所述压缩视频进行关键帧选择处理，分别得到参考帧候选集及失真帧候选集；分别在所述参考帧候选集及所述失真帧候选集选取质量低于阈值的帧，得到若干参考帧及若干失真帧；根据每一参考帧生成对应的参考帧的时域信息，并根据每一失真帧生成对应的失真帧的时域信息；将所述参考帧、所述参考帧的时域信息、所述失真帧及所述失真帧的时域信息输入至基于时空域特征融合的失真判别网络，进行帧级感知失真判别，得到基于时空域特征融合的失真判别结果集合；其中，所述基于时空域特征融合的失真判别结果集合包括真值和假值；通过感知失真融合策略，根据所述基于时空域特征融合的失真判别结果集合，对所述压缩视频进行感知失真判别，得到压缩视频感知失真判别结果集合；其中，所述感知失真融合策略包括：投票机制。3.如权利要求2所述的一种面向视频压缩的人眼恰可察觉失真的预测方法，其特征在于，所述将所述参考帧、所述参考帧的时域信息、所述失真帧及所述失真帧的时域信息输入至基于时空域特征融合的失真判别网络，进行帧级感知失真判别，包括：将所述参考帧与所述失真帧进行对比，判断所述失真帧相对于所述参考帧是否能被感知；若所述失真帧相对于所述参考帧能被感知时，则帧级感知失真判别结果为真值；若所述失真帧相对于所述参考帧不能被感知时，则帧级感知失真判别结果为假值。4.如权利要求2所述的一种面向视频压缩的人眼恰可察觉失真的预测方法，其特征在于，所述通过感知失真融合策略，根据所述基于时空域特征融合的失真判别结果集合，对所述原视频及所述压缩视频进行视频感知失真判别，得到压缩视频感知失真判别结果集合，包括：判断基于时空域特征融合的失真判别结果为真值的失真帧相对于所述参考帧的占比与感知失真阈值的大小关系；若所述失真帧相对于所述参考帧的占比大于等于所述感知失真阈值，则所述视频感知
失真判别结果为真值；若所述失真帧相对于所述参考帧的占比小于所述感知失真阈值，则所述视频感知失真判别结果为假值。5.如权利要求2所述的一种面向视频压缩的人眼恰可察觉失真的预测方法，其特征在于，所述将所述参考帧、所述参考帧的时域信息、所述失真帧及所述失真帧的时域信息输入至基于时空域特征融合的失真判别网络之前，还包括：建立基于时空域特征融合的失真判别网络；具体地：根据预设分块规则，分别对所述参考帧及所述失真帧进行分块处理，得到对应的参考帧分块集合及失真帧分块集合；根据质量最差优先选择原则，分别在所述参考帧分块集合和所述失真帧分块集合中选取预设数量个参考帧分块和预设数量个...

【专利技术属性】
技术研发人员：王伟，刘焕华，刘胜宗，
申请(专利权)人：湖南财政经济学院，
类型：发明
国别省市：