基于运动轨迹的全参考视频质量评价方法技术

本发明专利技术公开了一种基于运动轨迹的全参考视频质量评价方法，主要解决现有技术评价准确度低、计算复杂度高的问题。其实现方案是：将测试视频与参考视频划分为等长度的序列片段；计算测试序列片段的静态质量；对测试序列片段的第一帧进行点采样；分别计算测试序列片段和参考序列片段的光流；计算采样点在参考序列片段中的运动轨迹，剔除运动轨迹中的无效轨迹；分别提取测试序列片段和参考序列片段沿着运动轨迹的光流特征，并计算两者的特征差异；计算测试序列片段的动态质量；根据序列片段的静态质量和动态质量计算测试视频的质量。本发明专利技术在提高质量评价的准确度的同时减小了计算复杂度，可用于视频压缩、传输和处理中的质量检测评估。

Full reference video quality evaluation method based on motion trajectory

The invention discloses a full reference video quality evaluation method based on motion track, which mainly solves the problems of low evaluation accuracy and high calculation complexity of the prior art. The implementation scheme is: divide the test video and the reference video into equal length sequence segments; calculate the static quality of the test sequence segment; sample the first frame of the test sequence segment; calculate the optical flow of the test sequence segment and the reference sequence segment respectively; calculate the motion track of the sampling point in the reference sequence segment, and eliminate the invalid track in the motion track; respectively propose Take the optical flow characteristics of the test sequence segment and the reference sequence segment along the motion path, and calculate the characteristics difference between them; calculate the dynamic quality of the test sequence segment; calculate the quality of the test video according to the static and dynamic quality of the sequence segment. The invention improves the accuracy of quality evaluation and reduces the calculation complexity, and can be used for quality detection and evaluation in video compression, transmission and processing.

【技术实现步骤摘要】
基于运动轨迹的全参考视频质量评价方法
本专利技术属于图像及视频处理
，特别涉及一种全参考视频质量评价方法，可用于视频压缩、传输和处理中的质量检测评估。技术背景随着手持智能设备的发展和网络通信技术的进步，微信视频、手机摄像、网络直播等已经融入到了人们的日常生活中。由于受网络带宽和存储设备容量的限制，视频通常都需要经过压缩编码再进行传输与处理。一方面，受硬件设备影响，视频在拍摄过程中会不可避免受到噪声的干扰，影响视频的质量；另一方面，视频在进行压缩时也会造成一些原始信息的丢失；同时，在进行视频传输时，受网络环境影响，随时有可能发生网络丢包现象，从而影响到后续的视频观看和处理，甚至会造成关键信息的遗漏和错判。通过人为主观地进行视频质量的监控虽然准确无误，但是却会浪费大量的时间和人力，效率低下，且无法实现自动化。基于以上人为评判的缺点，研究者们致力于建立客观的视频质量评价方法，取代人工评判。根据需要的参考视频信息的多少，可以将现有的客观视频质量评价方法分为三类，其中：第一类为：无参考视频质量评价方法。该方法完全不需要原始参考视频，直接利用计算模型对测试视频进行质量预测。由于没有参考视频信息，所以评价结果很差，限制了其实际应用。第二类为：部分参考视频质量评价方法。该方法对原始参考视频提取一定数量的特征，通过对比参考视频与测试视频之间的特征差异，评价测试视频的质量。由于只能得到一部分的参考视频信息，评价结果依然不容乐观，应用领域狭小。第三类为：全参考视频质量评价方法。该方法需要用到全部的原始参考视频信息，通过对比原始参考视频和受噪声污染的视频的差异程度，给出测试视频的质量分数。由于使用了全部的参考视频信息，所以评价准确性在三类方法中最好。围绕此类方法，现有技术提出了很多的技术方案，例如：1.Seshadrinathan等人采用三维的Gabor滤波器对视频进行时空域分解，通过度量参考视频和测试视频之间的滤波器系数差异，计算测试视频质量；Manasa等人认为视频噪声会导致相邻两帧之间的光流产生差异，通过度量参考视频和测试视频之间的光流相似程度，计算测试视频的质量。但是这些方法的计算复杂度过高，计算时间过长，限制了其在实际中的应用。2.Peng等人提出了一种基于时空域纹理特征的视频质量评价方法；Chandler等人将视频看做是一个三维的立方体，分别从不同角度的二维平面，即xy平面，yt平面和xt平面计算测试视频和参考视频的差异性。但是这些方法由于没有考虑到人的运动感知特性，质量评价结果难以与人的主观感知结果保持一致，评价的稳定性差。
技术实现思路
本专利技术目的在于针对上述全参考视频质量评价方法中的不足，结合人类视觉系统的运动感知特性，提出一种基于运动轨迹的全参考视频质量评价方法，以在减小计算复杂度的同时提高视频质量评价的准确性。本专利技术的技术思路是：将测试视频分为多个序列片段，对每个序列片段的静态信息和动态信息进行质量估计，将静态质量和动态质量的乘积作为序列片段的总的质量估计，最后将序列片段的质量的均值作为测试视频的最终质量估计值。其实现步骤包括如下：(1)将待测的测试视频Vd及其参考视频Vr按照同样的长度划分为n个序列片段：其中，Vid表示第i个测试序列片段，Vir表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数；(2)计算第i个测试序列片段Vid的静态质量估计值Qsi；(3)计算第i个测试序列片段Vid的动态质量估计值Qti：(3a)对Vid的第一帧进行点采样，得到采样点的集合为P＝{p1,p2,...,pk,...,pN}，其中pk表示第k个采样点，k＝1,...,N，N为采样得到的点的数量，N≥5且N为整数；(3b)分别计算参考序列片段Vir和测试序列片段Vid每相邻两帧之间的稠密光流：其中，Fr表示参考序列片段Vir的光流集合，表示参考序列片段Vir中第m帧和第m+1帧之间的光流，Fd表示测试序列片段Vid的光流集合，表示测试序列片段Vid中第m帧和第m+1帧之间的光流，m＝1,...,L-1，L为序列片段的帧数，L≥12且L为整数；(3c)计算采样点在参考序列片段Vir中的运动轨迹R；(3d)从运动轨迹R中剔除无效轨迹，得到有效轨迹(3e)对第j条有效轨迹表示有效轨迹的数量，分别提取参考序列片段Vir沿着有效轨迹的光流特征和测试序列片段Vid沿着有效轨迹的光流特征(3f)计算(3e)所述两个光流特征和的相似性偏差，并将其均值作为测试序列片段Vid沿着有效轨迹的动态质量qtj；(3g)将测试序列片段Vid沿着所有有效轨迹的动态质量的均值与标准差之和作为测试序列片段Vid的动态质量值Qti；(4)将第i个测试序列片段的静态质量值Qsi和第i个测试序列片段的动态质量值Qti的乘积作为第i个测试序列片段Vid的总的质量Qi；(5)将所有测试序列片段质量{Q1,Q2,...,Qi,...,Qn}的均值作为测试视频Vd的质量值Q；(6)根据质量值Q对测试视频的质量进行判断：若Q＝0，则表示该测试视频没有被噪声污染；若0＜Q≤0.005，则表示该测试视频被噪声轻度污染；若0.005＜Q≤0.01，则表示该测试视频被噪声中度污染；若Q＞0.01，则表示该测试视频被噪声重度污染。本专利技术与现有技术相比，具有如下优点：1)本专利技术提出的全参考视频质量评价方法将视频质量的计算看作为一段段视频序列片段质量的累积，更符合人对于视频质量的感知过程。2)本专利技术将视频分为静态部分和动态部分分别进行质量估计，同时对动态部分只关注运动内容沿着运动轨迹的信息变化，与视觉中的运动感知过程更相符，因而质量评价结果与人的主观评价结果更具有一致性。3)本专利技术由于没有复杂的三维滤波计算以及大段视频的存储需求，因而减小了计算复杂度和内存消耗。附图说明图1是本专利技术的实现流程图。具体实施方式以下结合附图对本专利技术作进一步详细描述。参照图1，本专利技术的具体实现步骤如下：步骤1，将参考视频Vr和测试视频划Vd按照同等长度划分为序列片段。测试视频Vd和参考视频Vr通常有150帧到600帧，本实例按照L＝18帧的长度，分别将测试视频和参考视频分为n个序列片段：Vd＝{V1d，...,Vid,...Vnd}，其中，Vid表示第i个测试序列片段，Vir表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数。步骤2，计算第i个测试序列片段Vid的静态质量估计值Qsi。静态信息以每一帧的图像形式呈现，其静态质量可以通过测试序列片段Vid中每一帧的静态图像质量评价方法进行估计；现有的静态图像质量评价方法包括多尺度结构相似性MSSSIM、特征相似性FSIM和梯度相似度偏差GMSD，本实例采用梯度相似度偏差进行静态质量估计，其实现方式如下：(2本文档来自技高网...

【技术保护点】
1.一种基于运动轨迹的全参考视频质量评价方法，包括：/n(1)将待测的测试视频V

【技术特征摘要】
1.一种基于运动轨迹的全参考视频质量评价方法，包括：
(1)将待测的测试视频Vd及其参考视频Vr按照同样的长度划分为n个序列片段：其中，Vid表示第i个测试序列片段，Vir表示第i个参考序列片段，i＝1,2,...,n，n≥2且n为整数；
(2)计算第i个测试序列片段Vid的静态质量估计值Qsi；
(3)计算第i个测试序列片段Vid的动态质量估计值Qti：
(3a)对Vid的第一帧进行点采样，得到采样点的集合为P＝{p1,p2,...,pk,...,pN}，其中pk表示第k个采样点，k＝1,...,N，N为采样得到的点的数量，N≥5且N为整数；
(3b)分别计算参考序列片段Vir和测试序列片段Vid每相邻两帧之间的稠密光流：






其中，Fr表示参考序列片段Vir的光流集合，表示参考序列片段Vir中第m帧和第m+1帧之间的光流，Fd表示测试序列片段Vid的光流集合，表示测试序列片段Vid中第m帧和第m+1帧之间的光流，m＝1,...,L-1，L为序列片段的帧数，L≥12且L为整数；
(3c)计算采样点在参考序列片段Vir中的运动轨迹R；
(3d)从运动轨迹R中剔除无效轨迹，得到有效轨迹
(3e)对第j条有效轨迹表示有效轨迹的数量，分别提取参考序列片段Vir沿着有效轨迹的光流特征和测试序列片段Vid沿着有效轨迹的光流特征
(3f)计算(3e)所述参考序列片段Vir沿着有效轨迹的光流特征和测试序列片段Vid沿着有效轨迹的光流特征的相似性偏差，并将其均值作为测试序列片段Vid沿着有效轨迹的动态质量qtj；
(3g)将测试序列片段Vid沿着所有有效轨迹的动态质量的均值与标准差之和作为测试序列片段Vid的动态质量值Qti；
(4)将第i个测试序列片段的静态质量值Qsi和第i个测试序列片段的动态质量值Qti的乘积作为第i个测试序列片段Vid的总的质量Qi；
(5)将所有测试序列片段质量{Q1,Q2,...,Qi,...,Qn}的均值作为测试视频Vd的质量值Q；
(6)根据质量值Q对测试视频的质量进行判断：
若Q＝0，则表示该测试视频没有被噪声污染；
若0＜Q≤0.005，则表示该测试视频被噪声轻度污染；
若0.005＜Q≤0.01，则表示该测试视频被噪声中度污染；
若Q＞0.01，则表示该测试视频被噪声重度污染。


2.如权利要求1所述的方法，其步骤(2)中计算第i个序列片段Vid的静态质量估计Qsi，按如下步骤进行：
(2a)对第i个参考序列片段Vir和第i个测试序列片段Vid中的每一帧I提取梯度分量Gx和Gy：
Gx＝I*dx，Gy＝I*dy
其中，*表示线性卷积运算，dx、dy分别为水平方向和垂直方向的卷积核，



(2b)根据(2a)的计算结果，计算梯度幅值GM：



(2c)将第i个参考序列片段Vir在第w帧的梯度幅值记为第i个测试序列片段Vid在第w帧的梯度幅值记为则第i个测试序列片段Vid在第w帧的梯度相似度偏差表示为：



其中，w＝1,2,...,L，·表示对矩阵中的各个元素分别进行乘法操作，-表示对矩阵中的各个元素分别进...

【专利技术属性】
技术研发人员：吴金建，刘永旭，谢雪梅，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61