一种基于时空域切片多图谱配置的视频质量评价方法技术

本发明专利技术公开了一种基于时空域切片多图谱配置的视频质量评价方法，属于图像视频分析技术领域。本方法运用时空域切片思想，将原始和失真视频序列转换到时空域切片表示形式，在空域切片上提取失真友好的边缘图和帧差图，然后，在所有切片序列上提取梯度幅值和梯度方向组成的变化图和拉普拉斯校正的静止图，与原始图构成图谱从而完成图谱配置。之后，将待评价视频的时空域稳定性引入切片领域进行图谱的生成计算，引入2D图像质量评价方法，计算生成图谱参考‑失真对的差异值。最后，应用神经网络方法，以学习的方式自动确定每张图谱对视频失真的贡献度的权重。本发明专利技术方法与已有技术相比，具有主观一致性高、兼容性强、算法稳定性高等特点。

【技术实现步骤摘要】
一种基于时空域切片多图谱配置的视频质量评价方法
本专利技术涉及一种视频质量评价方法，特别涉及一种基于时空域切片多图谱配置的视频质量评价方法，属于图像视频分析

技术介绍
随着科学技术的发展，图像、视频产生和传播的成本变得越来越低，这使得图像和视频作为一种优秀的信息传播的媒介，在日常生活中变得越来越普遍，越来越不可缺少。但是，图像和视频在产生和传播的各个阶段都有引入失真的可能。产生的失真会影响人们观看这些多媒体资料时的体验，严重的还会影响到人们的身心健康。近年来，人们在图像质量评价研究领域取得了很大的进展，但是在视频领域的发展却相对缓慢。如何遏制低质量视频的传播，保证人们的视觉体验，仍然是一个亟待解决的问题。因此，使视频产生和传播的媒体具有自动评价视频质量高低的能力，从而改善媒体输出端视频的质量，对于解决这个问题具有重要意义。
技术实现思路
本专利技术的目的是为了解决现有视频质量评价方法预测准确性低、信息表示能力差、2D图像质量评价方法在视频质量评价领域应用不成功等问题，提出了一种基于时空域切片多图谱配置的视频质量评价方法。本专利技术方法参考了Ngo等人提出的时空域切片思想。时空域切片思想，采用一种时空域联合的方式重新表示原始的视频信息，有效的解决了视频时空间信息提取与高计算复杂度之间的矛盾。该思想将视频看做位于三维坐标系中的长方体，三个坐标轴分别代表视频的高(H)，宽(W)和时间(T)。沿不同的轴对视频进行切割，就会得到视频的不同信息表示。这一思想可以用公式表达为：ISTS(i,d)＝{Vd|d∈[T,W,H],i∈[1,N]}(1)其中，V为输入的视频序列，上标d代表视频的不同维度，取值范围是上面提到的高(H)，宽(W)和时间(T)，i代表切片序列的索引值，ISTS(i,d)为生成的时空域切片序列。本专利技术方法是通过以下技术方案实现的。一种基于时空域切片多图谱配置的视频质量评价方法，包括以下步骤：步骤一、将原始和失真视频序列转换到时空域切片表示形式，作为后续处理的基本单元。步骤二、在空域切片上提取失真友好的边缘图和帧差图，在所有切片序列上提取梯度幅值和梯度方向组成的变化图和拉普拉斯校正的静止图，与原始图构成图谱，从而完成图谱配置。步骤三、将待评价视频的时空域稳定性引入切片领域，进行图谱的生成计算。步骤四、引入2D图像质量评价方法，计算生成图谱参考-失真对的差异值。步骤五、应用神经网络方法，以学习的方式自动确定每张图谱对视频失真的贡献度的权重。有益效果本专利技术方法与已有技术相比，具有主观一致性高、兼容性强、算法稳定性高等特点。本方法可以将普通的2D图像质量评价方法转换为高性能的视频质量评价方法，可以与视频处理相关应用系统协同使用，可以嵌入实际的应用系统(比如视频的放映系统、网络传输系统等)中，实时的监控视频的质量；可以用于评价各种视频处理算法、工具(比如立体图像的压缩编码、视频采集工具等)的优劣；可以用于视频作品的质量审核，防止劣质视频制品危害观众的身心健康。附图说明图1是本专利技术方法的流程图。具体实施方式下面结合附图和实施例对本专利技术方法做进一步详细说明。一种基于时空域切片多图谱配置的视频质量评价方法，如图1所示，包括以下步骤：步骤一、将原始和失真视频序列转换到时空域切片表示形式，作为后续处理的基本单元。步骤二、在空域切片上提取失真友好的边缘图和帧差图，在所有切片序列上提取梯度幅值和梯度方向组成的变化图和拉普拉斯校正的静止图，与原始图构成图谱，从而完成图谱配置。空域切片能够最好地反映图像的结构，因此，提取空域切片的边缘图和帧差图，用于对时空域信息优化。优选方法如下：IDIFF(i,T)＝{ISTS(i,T)-ISTS(i-1,T)|i∈[2,N]}(3)其中，IEDGE(i,T)为生成的边缘图，IDIFF(i,T)为生成的帧差图。ISTS(i,T)代表时空域切片，i表示切片序列的索引值，T为切片的维度，N为切片的最大索引值，fh、fv为相应的失真友好的边缘滤波核。本实施例中，边缘滤波核的具体值为：SI13＝[-0.0052625,-0.0173466,-0.0427401,-0.0768961,-0.957739,-0.0696751,0,0.6696751,0.0957739,0.0768961,0.0427401,0.0173466,0.0052625].(4)将此向量分别横向、纵向复制，即可得到上述两个边缘滤波核。为了对时空域切片的基础信息表示能力进行优化，分别提取梯度幅值和方向组成的变化图，以及拉普拉斯校正的高斯静止图来完成优化。优选的提取方法如下：ILAP(i,d)＝ISTS(i,d)-IUP(i,d)(8)其中，IGM(i,d)与IGO(i,d)为生成的变化图，IGAU(i,d)与ILAP(i,d)为生成的静止图。i表示切片序列的索引值，d表示视频的不同维度，ISTS(i,d)为时空域切片序列。Gx、Gy为水平垂直方向的高斯梯度滤波核，fg为高斯模糊滤波核，IUP(i,d)为高斯滤波后的上采样图。步骤三、将待评价视频的时空域稳定性引入切片领域，进行图谱的生成计算。优选的，可以只对一半的切片进行图谱的生成计算，进一步减少计算量。步骤四、采用2D图像质量评价方法，通过平均聚合方式计算生成图谱参考-失真对的差异值。差异值Pm(i′,d)的具体计算方式为：其中，I代表图谱序列中的某一图像，其上标ref和dis分别代表参考视频序列图谱和失真视频序列图谱，m表示图谱类别，i'表示图谱序列的索引值，d表示视频的不同维度。IQA代表采用的2D全参考图像质量评价方法，计算的结果是该类图谱序列中每组图像对生成一个包含了失真信息的差异值，对于每种类别的图谱，用平均聚合方式得到该类图谱的图谱差异分数，然后可以得到所有类别图谱的差异分数组成的向量S。步骤五、应用神经网络方法，以学习的方式自动确定每张图谱对视频失真的贡献度的权重。学习表征公式为：Q＝θRS(10)其中，θ即为要学习的权重参数向量，S为图谱差异分数向量，Q为最终的视频质量分数表示，R代表向量转置。实施例在三个视频质量评价数据库上实施本专利技术方法，包括LIVE，IVP和CSIQ。这些数据库的基本信息如表1所示。通过选取两个性能优越的全参考视频质量评价方法与本专利技术方法进行比较。表1数据库基本信息另外，因为本方法是一个将2D图像质量评价方法转化为视频评价方法的框架，选取三个全参考图像质量评价方法(PSNR，SSIM和VIF)结合本专利技术方法中完成实验，同时这三个全参考方法的结果也加入了对比，用来测试本专利技术方法框架对这些方法性能的提升。每次实验选取20％数据进行测试，以SRCC，KRCC，PLCC，RMSE为指标，重复1000次取中值，实验结果见表2。表2三个数据库上算法性能比较表3是各算法在每种失真类型上的性能表现，结合表2可以看出，使用本专利技术方法在三个数据库的测试中，都对2D方法的性能有了显著的提升，同时，改进后的PSNR在3个库上结果都优于STRRED和ViS3，表明2D方法经本框架改进可以取得十分有竞争力的性能表现。表3每种失真类别上算法性能比较本文档来自技高网...

【技术保护点】
1.一种基于时空域切片多图谱配置的视频质量评价方法，其特征在于，包括以下步骤：步骤一、将原始和失真视频序列转换到时空域切片表示形式，作为后续处理的基本单元；步骤二、在空域切片上提取失真友好的边缘图和帧差图，在所有切片序列上提取梯度幅值和梯度方向组成的变化图和拉普拉斯校正的高斯静止图，与原始图构成图谱，从而完成图谱配置；步骤三、将待评价视频的时空域稳定性引入切片领域，进行图谱的生成计算；步骤四、引入2D图像质量评价方法，计算生成图谱参考‑失真对的差异值；步骤五、应用神经网络方法，以学习的方式自动确定每张图谱对视频失真的贡献度的权重。

【技术特征摘要】
1.一种基于时空域切片多图谱配置的视频质量评价方法，其特征在于，包括以下步骤：步骤一、将原始和失真视频序列转换到时空域切片表示形式，作为后续处理的基本单元；步骤二、在空域切片上提取失真友好的边缘图和帧差图，在所有切片序列上提取梯度幅值和梯度方向组成的变化图和拉普拉斯校正的高斯静止图，与原始图构成图谱，从而完成图谱配置；步骤三、将待评价视频的时空域稳定性引入切片领域，进行图谱的生成计算；步骤四、引入2D图像质量评价方法，计算生成图谱参考-失真对的差异值；步骤五、应用神经网络方法，以学习的方式自动确定每张图谱对视频失真的贡献度的权重。2.如权利要求1所述的一种基于时空域切片多图谱配置的视频质量评价方法，其特征在于，所述步骤二中，提取边缘图的方法如下：其中，IEDGE(i,T)表示生成的边缘图，ISTS(i,T)表示时空域切片，i表示切片序列的索引值，T表示切片的维度，fh、fv为相应的失真友好的边缘滤波核。3.如权利要求1所述的一种基于时空域切片多图谱配置的视频质量评价方法，其特征在于，所述步骤二中，提取帧差图的方法如下：IDIFF(i,T)＝{ISTS(i,T)-ISTS(i-...

【专利技术属性】
技术研发人员：刘利雄，王天舒，黄华，巩佳超，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11