一种基于图像梯度的短视频质量评价方法及系统技术方案

本发明专利技术公开了一种基于图像梯度的短视频质量评价方法及系统，该方法包括步骤：S1、对短视频进行截帧处理，将短视频分解成多个图像帧；S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score

A short video quality evaluation method and system based on image gradient

【技术实现步骤摘要】
一种基于图像梯度的短视频质量评价方法及系统
本专利技术涉及图像处理领域，具体涉及一种基于图像梯度的短视频质量评价方法及系统。
技术介绍
近年来，随着移动互联网的飞速发展以及4G网络的普及，日常生活中接触到的信息内容呈现指数级的增长。短视频作为信息内容的载体，逐渐进入了大众群体的视野。相较于传统的图像与文字，短视频的表现方式比文字和图像更加具有感官冲击力，并且其展现内容也更加丰富和生动。随着短视频的发展，视频质量高低影响着用户的观看体验的好坏，因此对发布的短视频进行质量分析便成了短视频平台首要任务。视频质量评估主要分为三大块：全参考视频质量评估，部分参考视频质量评估和无参考视频质量评估。现有视频质量评估方法大都为全参考视频质量评估和部分参考视频质量。上述两种评估方法均需要原始视频作为对照，然后通过对比分析失真的视频的质量。然而，日常社交平台上发布的短视频均没有原始视频进行对照分析，因此，全参考视频质量评估、部分参考视频质量评估均不适用于短视频质量评价。传统的无参考视频质量评估处理流程为：视频分解成图像帧序列；对图像帧进行图像质量评估；综合图像帧得分返回视频质量得分。然而，传统分析图像方法鲁棒性低，通常单一计算整图质量忽略图像局部质量，这通常在整图质量低、但局部信息大的情况下尤为突出。随着深度学习方法的发展，有学者尝试引入学习方法到视频质量评估中。公开号为CN110517237A的专利技术专利申请公开了一种基于膨胀三维卷积神经网络的无参考视频质量评价方法，具体为：构建由粗特征提取模块、三维时空特征学习模块、非线性回归模块组成的膨胀三维卷积神经网络，生成无参考的训练数据集和测试数据集，训练膨胀三维卷积神经网络，输出测试集中每个失真视频的质量评价分数值。上述基于深度学习对图像质量评价仍然存在以下问题：1.学习方法需要大量训练样本，而视频标注将耗费大量人力物力；2.视频质量评估偏主观，多人标注存在不同标准，间接影响后续训练准确性；3.学习方法需要消耗大量计算机资源。因此，如何克服现有的短视频质量评价的问题，实现鲁棒性强、处理效率高的短视频质量评价方法是本领域亟待解决的问题。
技术实现思路
本专利技术的目的是针对现有技术的缺陷，提供了一种基于图像梯度的短视频质量评价方法及系统。本专利技术将短视频分解成多个图像序列帧，实现无参考视频质量评估。引入优化后的图像梯度作为客观度量图像信息量方法，从而实现实时客观短视频质量评价。为了实现以上目的，本专利技术采用以下技术方案：一种基于图像梯度的短视频质量评价方法，其特征在于，包括步骤：S1、对短视频进行截帧处理，将短视频分解成多个图像帧；S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score1，Score2，…，ScoreN}，其中Scorei表示第i个子图的梯度得分，i＝1，2，...，N；S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；S5、基于所有截帧图像帧的质量得分，计算短视频质量得分。进一步地，所述步骤S4具体为：S41、计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分否则，执行步骤S42；S42、计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分否则，执行步骤S43；S43、返回图像帧的质量得分res＝Score。进一步地，所述步骤S5具体为：S51、由每帧图像质量得分组成的集合为F＝{res1，res2，...，resT}，其中resj表示第j个图像帧的质量得分，j＝1，2，...，T，将集合F中的元素进行大小排序得到新的集合F1＝{Ores1，Ores2，…，OresT}，其中Ores1＞Ores2＞…＞OresT；S52、求取集合F1中前m个(m＜T)得分的平均值作为短视频质量得分。进一步地，采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)。进一步地，采用Tenengrad梯度函数计算梯度得分。本专利技术还提出一种基于图像梯度的短视频质量评价系统，包括：截帧模块，用于对短视频进行截帧处理，将短视频分解成多个图像帧；灰度化模块，用于对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；第一计算模块，用于将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score1，Score2，...，ScoreN}，其中Scorei表示第i个子图的梯度得分，i＝1，2，...，N；第二计算模块，用于基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；第三计算模块，用于基于所有截帧图像帧的质量得分，计算短视频质量得分。进一步地，所述第二计算模块包括：第一判断模块，用于计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分否则，调用第二判断模块；第二判断模块，用于计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分否则，调用第三判断模块；第三判断模块，用于返回图像帧的质量得分res＝Score。进一步地，所述第三计算模块包括：排序模块，用于将集合F中的元素进行大小排序得到新的集合F1＝{Ores1，Ores2，…，OresT}，其中Ores1＞Ores2＞…＞OresT，由每帧图像质量得分组成的集合为F＝{res1，res2，…，resT}，其中resj表示第j个图像帧的质量得分，j＝1，2，...，T；均值模块，用于求取集合F1中前m个(m＜T)得分的平均值作为短视频质量得分。进一步地，采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)。进一步地，采用Tenengrad梯度函数计算梯度得分。本专利技术提供了一种基于图像梯度的短视频质量评价方法及系统，针对短视频的特点，将短视频分解成多个图像序列帧，并计算输入图像帧的整图梯度信息，然后该图像帧等分成N个子图并计算子图的梯度信息，通过分析N个子图梯度信息分布得出整幅图的内容分布并决策出改图像帧的最终质量得分，最后，通过加权视频抽离出的图像帧的评分得出最后视频质量。本专利技术实现了无参考视频质量，不需要原始视频进行对照分析。通过将短视频分解成多个图像序列帧，克服了现有的无参考视频本文档来自技高网...

【技术保护点】
1.一种基于图像梯度的短视频质量评价方法，其特征在于，包括步骤：/nS1、对短视频进行截帧处理，将短视频分解成多个图像帧；/nS2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；/nS3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score

【技术特征摘要】
1.一种基于图像梯度的短视频质量评价方法，其特征在于，包括步骤：
S1、对短视频进行截帧处理，将短视频分解成多个图像帧；
S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；
S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score1，Score2，...，ScoreN}，其中Scorei表示第i个子图的梯度得分，i＝1,2,...,N；
S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；
S5、基于所有截帧图像帧的质量得分，计算短视频质量得分。


2.根据权利要求1所述的短视频质量评价方法，其特征在于，所述步骤S4具体为：
S41、计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分否则，执行步骤S42；
S42、计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分否则，执行步骤S43；
S43、返回图像帧的质量得分res＝Score。


3.根据权利要求2所述的短视频质量评价方法，其特征在于，所述步骤S5具体为：
S51、由每帧图像质量得分组成的集合为F＝{res1，res2，...，resT}，其中resj表示第j个图像帧的质量得分，j＝1,2,...,T，将集合F中的元素进行大小排序得到新的集合F1＝{Ores1，Ores2，...，OresT}，其中Ores1＞Ores2＞...＞OresT；
S52、求取集合F1中前m个(m<T)得分的平均值作为短视频质量得分。


4.根据权利要求1所述的短视频质量评价方法，其特征在于，采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：
Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)。


5.根据权利要求1所述的短视频质量评价方法，其特征在于，采用Tenengrad梯度函数计算梯度得分。


6.一种基于图像梯度的短视频质量评价...

【专利技术属性】
技术研发人员：刘昱龙，范俊，顾湘余，李文杰，黄睿智，刘腾飞，
申请(专利权)人：杭州趣维科技有限公司，
类型：发明
国别省市：浙江;33