视频锐度评估方法、装置、设备、存储介质以及产品制造方法及图纸

本申请实施例提供了一种视频锐度评估方法、装置、设备、存储介质以及产品，该方法包括：将待评估的视频图像帧转化为灰度图，对灰度图进行离散小波变换得到高频子带图；然后对灰度图进行显著度计算得到显著度图，并将显著度图进行缩放，转化为与高频子带图的尺寸相同的权重矩阵；最后基于权重矩阵以及高频子带图，计算得到视频图像帧对应的高频能量总值，以表征视频图像帧的锐度评估结果。本方案通过将显著性检测引入到视频锐度评估中，使得视频锐度评估更多地关注图像中引起人眼注意力的部分，更符合人眼感知，提高了锐度估计的准确性，从而更好地反馈视频的清晰度。更好地反馈视频的清晰度。更好地反馈视频的清晰度。

【技术实现步骤摘要】
视频锐度评估方法、装置、设备、存储介质以及产品


[0001]本申请实施例涉及视频
，尤其涉及一种视频锐度评估方法、装置、设备、存储介质以及产品。

技术介绍

[0002]锐度作为反映图像边缘和细节锐利程度的指标，是清晰度评估的重要组成部分。视频锐度评估作为视频质量评估的重要指标之一，对于视频编码、传输、存储等多个环节都有重要意义。尤其对于直播视频，锐度评估可以直接判断观众端的视频清晰度，进而对清晰度不足的视频通过一定的画质增强技术提升清晰度，改善用户体验。同时，锐度估计还能对画质增强技术的效果进行评估，对技术人员的算法调整起到指导作用。更进一步，锐度估计还能对直播视频的观众端海量视频进行打分，将检测到的低清视频给到推荐侧，辅助推荐端的低清打压策略。因此，视频锐度评估对于直播或短视频的收益具有重要意义。
[0003]相关技术中，锐度评估方法大致分为三类。一类为空域方法，通过用数学参数表示图像边缘的过渡区宽度，其思想为边缘的法向灰度变化越剧烈，边缘宽度越窄，图像的锐度评估值越高，图像也就越清晰；一类为频域方法，基于离散余弦变换、离散小波变换等变换系数的峰值判断锐度；一类为基于边缘特征的和基于变换的方法的融合，如利用图像梯度直方图的统计信息和基于小波变换的高频细节信息进行锐度评估。基于空域和频域的混合方法已被证明通常比仅基于边缘或仅基于变换的方法执行得更好，但往往以增加计算复杂度为代价。前述锐度评估方法只考虑了图像的全局信息，锐度估计的准确性低。

技术实现思路

[0004]本申请实施例提供了一种视频锐度评估方法、装置、设备、存储介质以及产品，解决了现有的视频锐度评估忽视人眼对图像局部特征的感知作用的问题，将显著性检测引入到视频锐度评估中，使得视频锐度评估更多地关注图像中引起人眼注意力的部分，更符合人眼感知，提高了锐度估计的准确性，从而更好地反馈视频的清晰度。
[0005]第一方面，本申请实施例提供了一种视频锐度评估方法，该方法包括：
[0006]将待评估的视频图像帧转化为灰度图，对所述灰度图进行离散小波变换得到高频子带图；
[0007]对所述灰度图进行显著度计算得到显著度图，并将所述显著度图进行缩放，转化为与所述高频子带图的尺寸相同的权重矩阵；
[0008]基于所述权重矩阵以及所述高频子带图，计算得到所述视频图像帧对应的高频能量总值，以表征所述视频图像帧的锐度评估结果。
[0009]第二方面，本申请实施例还提供了一种视频锐度评估装置，包括：
[0010]高频子带确定模块，配置为将待评估的视频图像帧转化为灰度图，对所述灰度图进行离散小波变换得到高频子带图；
[0011]显著度确定模块，配置为对所述灰度图进行显著度计算得到显著度图，并将所述
显著度图进行缩放，转化为与所述高频子带图的尺寸相同的权重矩阵；
[0012]高频能量计算模块，配置为基于所述权重矩阵以及所述高频子带图，计算得到所述视频图像帧对应的高频能量总值，以表征所述视频图像帧的锐度评估结果。
[0013]第三方面，本申请实施例还提供了一种视频锐度评估设备，该设备包括：
[0014]一个或多个处理器；
[0015]存储装置，配置为存储一个或多个程序，
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的视频锐度评估方法。
[0017]第四方面，本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行本申请实施例所述的视频锐度评估方法。
[0018]第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的视频锐度评估方法。
[0019]本申请实施例中，通过将待评估的视频图像帧转化为灰度图，对灰度图进行离散小波变换得到高频子带图；然后对灰度图进行显著度计算得到显著度图，并将显著度图进行缩放，转化为与高频子带图的尺寸相同的权重矩阵；最后基于权重矩阵以及高频子带图，计算得到视频图像帧对应的高频能量总值，以表征视频图像帧的锐度评估结果。通过将显著性检测引入到视频锐度评估中，使得视频锐度评估更多地关注图像中引起人眼注意力的部分，更符合人眼感知，提高了锐度估计的准确性，从而更好地反馈视频的清晰度。
附图说明
[0020]图1为本申请实施例提供的一种视频锐度评估方法的流程图；
[0021]图2为一种示例性的三级Haar小波变换的示意图；
[0022]图3为本申请实施例提供的一种计算高频能量总值的方法的流程图；
[0023]图4为本申请实施例提供的一种视频锐度评估装置的结构框图；
[0024]图5为本申请实施例提供的一种视频锐度评估设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
[0026]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0027]本申请实施例提供的视频锐度评估方法，用于对视频或者图像进行清晰度的评估，可以应用于视频编码、传输、存储等多个环节。具体应用场景可以包括：视频会议、视频通话、室内直播、户外直播以及短视频等。以室内直播为示例，可以用于判断观众端观看直播视频的实时清晰度，还可以用于评估直播画面经过画质增强处理后的实际效果。前述罗列的几种应用场景仅是示例性和解释性的，在实际应用中，还可以在其他场景下的视频锐度评估中用到该视频锐度评估方法，本申请实施例对此不作限定。本申请旨在提供一种视频锐度评估方法，将显著性检测引入到视频锐度评估中，使得视频锐度评估更多地关注图像中引起人眼注意力的部分，更符合人眼感知，提高了锐度估计的准确性，从而更好地反馈视频的清晰度。
[0028]此外，本申请实施例提供的视频锐度评估方法，旨在将视频图像帧的高频能量总值作为视频锐度的评估指标，通过设置测试集，可以对本申请实施例对应的评估指标的准确性进行效果验证。示例的，可以利用图像质量评价中的客观指标与质量相关性评价指标，如SROCC(Spearman rankorder correlation coeffic本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.视频锐度评估方法，其特征在于，包括：将待评估的视频图像帧转化为灰度图，对所述灰度图进行离散小波变换得到高频子带图；对所述灰度图进行显著度计算得到显著度图，并将所述显著度图进行缩放，转化为与所述高频子带图的尺寸相同的权重矩阵；基于所述权重矩阵以及所述高频子带图，计算得到所述视频图像帧对应的高频能量总值，以表征所述视频图像帧的锐度评估结果。2.根据权利要求1所述的视频锐度评估方法，其特征在于，所述对所述灰度图进行离散小波变换得到高频子带图，包括：对所述灰度图进行多级离散小波变换，得到多层高频子带图，每层所述高频子带图包括水平高频子带图、垂直高频子带图以及对角高频子带图；相应的，所述将所述显著度图进行缩放，转化为与所述高频子带图的尺寸相同的权重矩阵，包括：将所述显著度图进行缩放，分别转化为与每层中各个高频子带图的尺寸相同的权重矩阵。3.根据权利要求2所述的视频锐度评估方法，其特征在于，所述基于所述权重矩阵以及所述高频子带图，计算得到所述视频图像帧对应的高频能量总值，包括：基于每层中各个高频子带图以及与其尺寸相同的权重矩阵，计算得到每层中各个高频子带图对应的高频能量值；将每层中各个高频子带图对应的高频能量值进行加权计算得到每层高频子带图对应的高频能量值；将所述每层高频子带图对应的高频能量值进行加权计算得到高频能量总值。4.根据权利要求3所述的视频锐度评估方法，其特征在于，所述每层中各个高频子带图对应的高频能量值的计算公式如下：其中，表示第n层中各个高频子带图的高频能量值，表示第n层中各个高频子带图，表示当前计算的高频子带图中位于第i行第j列的像素的像素值，表示当前计算的高频子带图对应的权重矩阵的第i行第j列的元素值，N
n
表示当前计算的高频子带图的像素总数。5.根据权利要求3所述的视频锐度评估方法，其特征在于，所述每层高频子带图对应的高频能量值的计算公式如下：其中，E
n
表示第n层高频子带图的高频能量值，表示第n层水平高频子带图的高频能量值，表示第n层垂直高频子带图的高频能量值，表示第n层对角高频子带图的高频
能量值，α表示能量权重系数。6.根据权利要求3...

【专利技术属性】
技术研发人员：石雅南，
申请(专利权)人：有半岛北京信息科技有限公司，
类型：发明
国别省市：