一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法技术

本发明专利技术涉及一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法。该方法首先分别给定参考和失真屏幕视频序列，将3D‑Gabor滤波器作用于参考和视频序列以获得时空特征张量；然后计算出参考屏幕视频和失真屏幕视频的时空特征张量相似度；最后，使用基于时空特征张量的池化策略获得失真屏幕视频的质量分数。本发明专利技术所述的方法计算简单，能够准确评估屏幕视频质量。

【技术实现步骤摘要】
一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
本专利技术涉及视频处理领域，尤其涉及一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法。
技术介绍
随着云计算、移动互联网和多媒体技术的蓬勃发展，屏幕视频在各个领域得到了广泛的关注和应用，如在线教育、远程计算、视频会议、游戏直播和虚拟桌面共享等。与自然场景视频不同，屏幕视频是一种复合视觉内容，既包含计算机直接生成或渲染的非连续色调区域，如图标、图表、文字等，又包含摄像机生成的连续色调区域，如自然场景视频片段等。视频处理旨在于提供高清晰度的视频主观视觉质量。然而，与自然场景视频一样，屏幕视频在生成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而导致视觉效果降低。由于人眼是图像最终接受者，如何准确地从人眼视觉感知的角度去描述屏幕视频质量成为一个迫切需求。为此，研究者们提出了一系列针对视频的视觉质量评价方法。例如，VQM是一种利用图像的颜色、亮度、时空域等变化特征之间的关联性来对视频进行评价的视频质量模型。MOVIE将空间域中的多信道分解扩展到时空域，并分别预测空间失真和时间失真，在计算时间失真时考虑时域中HVS的特性从而成功地预测了时间失真。由于现有大多数质量评价方法都是针对自然场景图像视频而设计，并未充分考虑屏幕视频的结构和统计特性。因此，如何充分考虑屏幕视频特点和人类视觉系统特性，设计符合人眼视觉特性的屏幕视频视觉质量评价方法，是当前视频
一个兼具理论和实际应用价值的新兴研究课题。专利技术内容本专利技术的主要目的在于克服现有技术的不足，提出一种高效、计算简单的基于时空Gabor特征张量的全参考屏幕视频质量评估方法。通过提取屏幕视频的时空特征张量，计算得到失真屏幕视频的质量评价分数。该方法能够准确反映人眼对于屏幕视频的主观感知。本专利技术所采用的技术方案是：一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，步骤如下：1)输入参考屏幕视频r和失真屏幕视频d；2)分别提取参考屏幕视频r的时空Gabor特征张量和失真屏幕视频d的时空Gabor特征张量3)计算参考屏幕视频r和失真屏幕视频d的时空特征张量的相似度SS(x,y,t)和ST(x,y,t)，进而得到失真屏幕视频的时空质量张量SQ(x,y,t)；4)基于步骤3)得到的失真屏幕视频的时空质量张量进行加权池化得到失真屏幕视频d的质量评估分数。优选的，在步骤1)中将参考屏幕视频和失真屏幕视频分别按照连续数帧沿时间轴组合获得参考屏幕视频单元和失真屏幕视频单元。优选的，在步骤2)中，所述的提取参考屏幕视频r的时空Gabor特征张量，步骤如下：2.1a)分别对参考屏幕视频r的每一个视频单元计算得到x方向，y方向和t方向的时空Gabor特征张量，和计算步骤如下：其中，(x,y,t)表示视频单元中的像素位置，变量x和y是空间变量，而t是时间变量。是x方向3D-Gabor滤波器，是y方向3D-Gabor滤波器，是t方向3D-Gabor滤波器，三者对应的卷积核定义如下：其中，为3D高斯函数，标准差σ＝20，函数中Fx、Fy、Ft的计算如下：其中，F＝0.1为滤波器的中心幅值，θ和代表3D-Gabor滤波器的方向。2.2a)计算参考屏幕视频r的每一个视频单元的空间特征张量和时间特征张量步骤如下：其中，分别代表x,y方向3D-Gabor滤波器与参考屏幕视频r卷积后所得的水平方向特征张量和垂直方向特征张量，时间特征张量是t方向3D-Gabor滤波器与参考屏幕视频r卷积后所得的t方向特征张量。优选的，所述的提取失真屏幕视频d的时空Gabor特征张量，步骤如下：2.1b)分别对失真屏幕视频d的每一个视频单元计算得到x方向，y方向和t方向的时空Gabor特征张量，和具体计算步骤如下：其中，(x，y，t)表示视频单元中的像素位置，变量x和y是空间变量，而t是时间变量。是x方向3D-Gabor滤波器，是y方向3D-Gabor滤波器，是t方向3D-Gabor滤波器，三者对应的卷积核定义如下：其中，为3D高斯函数，标准差σ＝20，函数中Fx、Fy、Ft的计算如下：其中，F＝0.1为滤波器的中心幅值。θ和代表3D-Gabor滤波器的方向。2.2b)计算失真屏幕视频d的每一个视频单元的空间特征张量和时间特征张量具体步骤如下：其中，分别代表x,y方向3D-Gabor滤波器与失真屏幕视频d卷积后所得的x方向特征张量和y方向特征张量，时间特征张量是t方向3D-Gabor滤波器与失真屏幕视频d卷积后所得的t方向特征张量。优选的，在步骤3)中，计算参考屏幕视频r和失真屏幕视频d的空间特征张量相似度SS(x，y,t)和时间特征张量相似度ST(x,y，t)，进而得到失真视频序列的时空质量张量SQ(x，y，t)：其中，C1＝C2＝800。优选的，在步骤4)中，具体计算步骤如下：4.1)通过空间池化策略得到失真屏幕视频d的每一个视频单元质量评估分数：4.2)通过时间池化策略得到失真屏幕视频d的质量评估分数：其中N代表视频单元的个数。本专利技术的有益效果如下：本专利技术提供了一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，一方面充分利用了3D-Gabor滤波器能有效地提取屏幕视频的时空特征张量，另一方面充分考虑了人眼视觉系统从空域角度对方向、边缘、轮廓高度敏感，而从时域角度对移动物体趋于感兴趣。因此，本方法具有较好的屏幕视频质量评估性能，计算得到的客观分数与主观评价有较高的一致性，且计算复杂度低，能够客观准确评估屏幕视频的质量。附图说明图1是本专利技术基于时空Gabor特征张量的全参考屏幕视频质量评估方法的流程示意图。具体实施方式以下结合附图及实施例对本专利技术进行进一步的详细说明。参见图1所示，一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，具体步骤如下：1)输入参考屏幕视频r和失真屏幕视频d，将参考屏幕视频和失真屏幕视频分别按照连续数帧沿时间轴组合获得参考屏幕视频单元和失真屏幕视频单元；2)分别提取参考屏幕视频r的时空Gabor特征张量和失真屏幕视频d的时空Gabor特征张量其中提取参考屏幕视频r的时空Gabor特征张量，步骤如下：2.1a)分别对参考屏幕视频r的每一个视频单元计算得到x方向，y方向和t方向的时空Gabor特征张量，和计算步骤如下：其中，(x,y，t)表示视频单元中的像素位置，变量x和y是本文档来自技高网...

【技术保护点】
1.一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，其特征在于，包括如下步骤：/n步骤1)输入参考屏幕视频r和失真屏幕视频d；/n步骤2)分别提取参考屏幕视频r的时空Gabor特征张量

【技术特征摘要】
1.一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，其特征在于，包括如下步骤：
步骤1)输入参考屏幕视频r和失真屏幕视频d；
步骤2)分别提取参考屏幕视频r的时空Gabor特征张量和失真屏幕视频d的时空Gabor特征张量
步骤3)计算参考屏幕视频r和失真屏幕视频d的时空特征张量的相似度SS(x，y，t)和ST(x,y,t)，进而得到失真屏幕视频的时空质量张量SQ(x,y，t)；
步骤4)基于步骤3)得到的失真屏幕视频的时空质量张量进行加权池化得到失真屏幕视频d的质量评估分数。


2.根据权利要求1所述的基于时空Gabor特征张量的全参考屏幕视频质量评估方法，其特征在于：在步骤1)中将参考屏幕视频和失真屏幕视频分别按照连续数帧沿时间轴组合获得参考屏幕视频单元和失真屏幕视频单元。


3.根据权利要求2所述的一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法，其特征在于：在步骤2)中，所述的提取参考屏幕视频r的时空Gabor特征张量，具体步骤如下：
2.1a)分别对参考屏幕视频r的每一个视频单元计算得到x方向，y方向和t方向的时空Gabor特征张量，计算步骤如下：









其中，(x，y，t)表示视频单元中的像素位置，变量x和y是空间变量，而t是时间变量。是x方向3D-Gabor滤波器，是y方向3D-Gabor滤波器，是t方向3D-Gabor滤波器，三者对应的卷积核定义如下：









其中，为3D高斯函数，标准差σ＝20，函数中Fx、Fy、Ft的计算如下：



其中，F＝0.1为滤波器的中心幅值，θ和代表3D-Gabor滤波器的方向。
2.2a)计算参考屏幕视频r的每一个视频单元的空间特征张量和时间特征张量步骤如下：






其中，分别代表x,y方向3D-Gabor滤波器与参考屏幕视频r卷积后所得的x方向特征张量和y方向特征张量，时间特征张量是t方向3D-Gabor滤波器与参考屏幕视频r卷积后所得的t方向特征张量。


4.根据权利要求3所...

【专利技术属性】
技术研发人员：曾焕强，程姗，陈婧，侯军辉，朱建清，马凯光，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建;35