一种采用新的特征聚合方式的无参考视频质量评价方法技术

本发明专利技术公开了一种采用新的特征聚合方式的无参考视频质量评价方法，首先构建质量评价模型，通过内容感知特征提取模块提取内容感知特征；通过特征聚合模块进行特征聚合；再通过视频质量分数回归模块实现视频质量分数回归；最后将内容感知特征提取模块、特征聚合模块、视频质量分数回归模块进行联合训练。本发明专利技术对于预训练的特征提取网络提取的帧级别的特征采用了新的特征聚合方式，本发明专利技术采用NeXtVLAD layer聚合提取的视频帧级别的特征值比常规的时间模型更有效、更快。更快。更快。

【技术实现步骤摘要】
一种采用新的特征聚合方式的无参考视频质量评价方法


[0001]本专利技术涉及图像、视频处理
，尤其是涉及一种结合NeXtVLAD作为特征聚合方式的以及深度学习进行无参考视频质量评价的方法。

技术介绍

[0002]如今，大多数视频都是由使用各种便携式移动设备的用户在野外拍摄的，并在社交平台中广泛传播，占据着网络流量的绝大部分。而这些视频大多包含由于失焦、物体运动、相机抖动或曝光不足/过度而造成的画面扭曲、失真，属于无参考视频。因此，为自动识别和筛选低质量的视频，实现网络流量的合理分配，亟需在采集过程中通过质量监控过程来防止它们的发生，或有意识地修复/增强它们的质量。为了实现这一目标，对用户上传的原始视频的质量评价是一个先决条件。目前对于视频质量评价的研究方法可分为两大类：客观质量评价与主观质量评价。主观视频质量研究通常需要耗费大量的时间和人力资源投入研究，以获取有价值和可靠的主观数据。从主观研究中获得的数据集对于客观视频质量模型的开发、校准和基准测试是非常价值的，即客观质量评价的结果应尽量与主观平均意见得分(MOS)相一致。目前，围绕无参考本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采用新的特征聚合方式的无参考视频质量评价方法，其特征在于，步骤如下：步骤(1).构建质量评价模型；所述质量评价模型依次包含内容感知特征提取模块、特征聚合模块以及视频质量分数回归模块；步骤(2).通过内容感知特征提取模块提取内容感知特征；步骤(3).通过特征聚合模块进行特征聚合；步骤(4).通过视频质量分数回归模块实现视频质量分数回归；步骤(5).将内容感知特征提取模块、特征聚合模块、视频质量分数回归模块进行联合训练。2.根据权利要求1所述的一种采用新的特征聚合方式的无参考视频质量评价方法，其特征在于，步骤(2)具体方法如下：2
‑
1.利用预训练的卷积神经网络作为内容感知特征提取网络；所述的预训练的是利用EfficientNetV2网络在ImageNet21k数据集上预先训练得到的图像分类模型构建成的网络，可以提取到视频帧中对于内容语义质量以及感知质量敏感的特征；2
‑
2.进行内容感知特征提取网络的输入，以一个视频的所有帧作为EfficientNetV2的输入，提取每帧视频的特征，并输出N个特征图M
t
，具体如下：M
t
＝EfficlentNetV2(I
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，t是下标，t＝1,2,3，...，N，N为视频的总帧数；I
t
表示视频第t帧的图像；M
t
表示视频第t帧所对应的特征图；2
‑
3.通过网络层对数据进行处理；将2
‑
2中输出的N个特征图M
t
分别通过空间全局平均池化层和全局标准差池化层，以保留视频帧中更多有效信息以及不同帧之间的变化信息，经过上述两个池化层之后分别得到特征向量和最终通过将二者聚合形成内容感知特征f
t
，具体计算如下：，具体计算如下：，具体计算如下：其中，GP
mean
()表示空间全局池化操作，GP
std
()表示全局标准层操作，与分别是经过全局池化和全局平均差操作得到的特征向量，表示将两个向量连接起来，f
t
表示提取到单帧视频的最终特征。3.根据权利要求2所述的一种采用新的特征聚合方式的无参考视频质量评价方法，其特征在于，步骤(3)具体方法如下：采用特征聚合模块进行视频帧级别特征的聚合，该特征聚合模块包含n个全连接层以及1个NeXtVLAD layer网络；首先，将步骤(2)提取到的单个内容感知特征接入一个全连接层，进行降维，得到新的特征向量x
t
，具体如下：x
t
＝W
fx
f
t
+b
f
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
其中，b
fx
、W
fx
分别表示单个全连接层中的参数偏差和权重，f
t
表示提取到单帧视频的最终特征；之后采用NeXtVLAD layer网络对得到的所有帧特...

【专利技术属性】
技术研发人员：颜成钢，毛钰，汤乐，陈楚翘，王鸿奎，高宇涵，孙垚棋，王廷宇，朱尊杰，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：