基于深层次时空信息的无参考视频质量评价方法技术

本发明专利技术公开了基于深层次时空信息的无参考视频质量评价方法，包括如下步骤：S1，内容感知特征提取，利用Resnet‑50预训练的深度神经网络，提取顶层的语义层特征后进行聚合，对特征图进行均值聚合与标准差聚合；S2，对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中；现有的NR‑VQA方法无法很好地对VQA任务中的长期依赖关系建模，为了解决这个问题，我们求助于GRU，它是带有门控制的递归神经网络模型，能够集成特征并学习长期依赖关系，本发明专利技术中使用GRU集成内容感知功能并预测逐帧质量得分。

【技术实现步骤摘要】
基于深层次时空信息的无参考视频质量评价方法
本专利技术涉及图像、视频处理
，尤其是涉及一种基于深度卷积网络的无参考视频质量评价方法。
技术介绍
随着具有拍照录像功能的可穿戴设备、智能手机与平板电脑的普及，视频信息的获取和存储变得越来越容易，人们可以随意拍摄不同时长的视频信息，其中不乏大量的失真视频，这极大的影响观众的视觉体验。在整个视频链路中，大部分模块都可以精确度量，如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分，即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类：客观质量评估与主观质量评估。主观评价方式通过人类视觉系统进行评价，较准确，但不稳定，耗时，且成本较高，难以操作。客观评价方法对人进行建模，通过模型评价图像质量，具有批量处理、结果稳定和可重现的优点。近年来，如何利用计算机技术模拟人类视觉注意力评价机制，正确评价视频质量成为当前研究的热点。在过去的十年中，研究人员提出了众多的评价模型，并应用到很多领域，如图像/视频降噪、图像/视频压缩编码、图像/视频风格迁移等。同时，我们也要注意随着自本文档来自技高网...

【技术保护点】
1.基于深层次时空信息的无参考视频质量评价方法，其特征在于包括如下步骤：/nS1，内容感知特征提取，利用预训练的深度神经网络，提取顶层的语义层特征后进行聚合，对特征图进行均值聚合与标准差聚合；/nS2，对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中。/n

【技术特征摘要】
1.基于深层次时空信息的无参考视频质量评价方法，其特征在于包括如下步骤：
S1，内容感知特征提取，利用预训练的深度神经网络，提取顶层的语义层特征后进行聚合，对特征图进行均值聚合与标准差聚合；
S2，对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中。


2.如权利要求1所述的于深层次时空信息的无参考视频质量评价方法，其特征在于所述步骤
S1的具体内容，包括如下步骤：
S11，设视频具有T帧，将视频帧It(t＝1,2，...，T)输入到预训练的CNN模型中，并从其顶部卷积层输出深度语义特征图Mt：
Mt＝CNN(It)
Mt总共包含C个特征图，然后，对Mt的每个特征图应用空间全局聚合，将空间全局平均池化操作GPmean应用于Mt，合并空间全局标准偏差GPstd；GPmean，GPstd操作后输出特征向量分别为内容感知特征提取中，在使用res5c层特征的基础上，同时提取res4f、res3d层特征，对这些层所提出的特征图采用与res5c特征图相同操作：


















S12，将和串联起来，作为内容感知知觉特征ft：



其中，表示拼接操作。


3.如权利要求1所述的于深层次时空信息的无参考视频质量评价方法，其特征在于所述步骤S2中，提取的内容感知特征在输入GRU之前，执行尺寸减少，使用单个全连接层执行尺寸缩减；
xt＝Wfxft+bfx
其中Wfx和bfx是该全连接层的参数；降维后，将缩减后的特征xt(t＝1，…，T)送入GRU，将GRU的隐藏状态视为集成特征，其初始值为h0；
根据当前输入xt和先前的隐藏状态ht-1计算出的当前隐藏状态ht，即：












最后采用DualDeeperGRU结构；

【专利技术属性】
技术研发人员：殷海兵，刘银豪，周晓飞，王鸿奎，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33