【技术实现步骤摘要】
本专利技术涉及多媒体质量评价，具体地，一种融合前后文特征的全参考插帧视频质量评价方法和系统。
技术介绍
1、随着数字时代到来，视频日益成为人们日常生活中不可或缺的一部分，拍摄设备的便捷性使得视频数据量爆炸性增长，越来越多的视频数据面临着传输压力。视频数据的大小由图像的空间分辨率以及视频帧率决定，受到通信带宽的限制，视频在进行传输时会对帧率进行限制，达到最低观看效果的同时保证传输的及时性。但是视频的帧率同时影响观看者的感知体验，人眼习惯于现实世界的连续性，因此更高的视频帧率能够带给观看者更多的真实感。
2、帧率的降低为视频信号带来用户感知体验的降低，为了对其进行弥补，视频接收端会使用视频插帧的方法恢复视频帧率。然而受限于视频插帧技术的发展，大多数视频插帧方法无法准确还原原始视频信号，甚至在内容上产生新的失真，造成更低的感知体验。因此为了保障视频观看者的用户体验，有必要开发设计一种有效的针对插帧视频的质量评价系统，自动检测插帧视频质量，保障最终用户的体验感知。
3、质量评价方法根据评价主体的不同，分为主观质量评价和客观质量评价。主观质量评价虽然准确性高，但成本较高，无法用于大规模评估和实时处理系统中。因此，研究者们提出了许多客观质量评价算法，但较少研究者研究插帧视频的客观质量评价。danier等人在《d.danier,f.zhang and d.bull,"flolpips:a bespoke video quality metric forframe interpolation,"2022picture c
4、可以看到目前全参考的插帧视频质量评价研究成果中，研究者仅采用图像特征，视频帧在时间上的信息抽取较少，仅通过光流或时序网络有限地利用。由于视频相邻帧之间具有必然的关联性和联系性，插帧得到的新图像在视频序列中的不自然很大程度影响观看。此外人类的记忆机制和视觉暂留机制对于视频序列的长期一致性要求较高，这些都影响着人类最终主观感知质量。目前大部分客观视频质量评价方法，也忽略了连续帧间的依赖性，使得这些通用评价方法在插帧视频的评估上失效。
技术实现思路
1、为了弥补现有技术中上述的不足之处，本专利技术的目的是提供一种融合前后文特征的全参考插帧视频质量评价方法、系统、介质及终端。
2、根据本专利技术的一个方面，提供一种融合前后文特征的全参考插帧视频质量评价方法，包括：
3、从相同时刻的参考视频帧和失真视频帧中，分别获得插帧图像组成的参考图像序列和失真图像序列，同时在失真视频中取每一失真帧前后相邻两帧组成连续的三帧作为一组三元帧；
4、将每组所述三元帧输入特征提取网络，学习相邻帧之间的关联性，得到三元帧特征图；将所述参考图像序列和所述失真图像序列分别输入特征提取网络，学习随时间变化的参考帧和失真帧的相似性，得到参考序列特征图和失真序列特征图；
5、将所述三元帧特征图进行前后文相似性计算和平均池化计算，得到三元帧的在时间维度上的前后文特征向量；将所述参考序列特征图和所述失真序列特征图进行结构相似性计算和时序平均池化计算，得到时间相似性特征向量；
6、对所述前后文特征向量和所述时间相似性特征向量进行融合并输入质量回归网络，得到插帧视频客观质量评价分数。
7、优选地，所述特征提取网络为预训练的视频卷积神经网络，通过移除其最后的全连接层和池化层，来进行特征提取。
8、优选地，利用预训练后的神经网络分别从参考图像序列、失真图像序列和每一组三元帧中提取多尺度特征图，即：
9、对于所述参考图像序列和所述失真图像序列，采用所述预训练的神经网络提取多尺度特征，作为所述参考序列特征图和失真序列特征图；
10、对于每一组三元帧，采用所述预训练的神经网络提取多尺度特征，作为所述三元帧特征图。
11、优选地，在所述特征提取过程中，保留视频卷积神经网络每一降采样阶段后生成的特征图，组成具有多尺度的特征金字塔；
12、所述特征金字塔的前三种尺度为低级图像特征并保留时间维度，后两种尺度为高级语义特征并融合时间维度。
13、优选地，所述将所述三元帧特征图进行前后文相似性计算和平均池化计算，得到三元帧的在时间维度上的前后文特征向量，包括：
14、对保留时间维度的低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；
15、所述前后文相似性计算表述为：
16、
17、其中，和表示在第i尺度上时间维度相邻的两个特征图，表示相邻特征图的前后文相似性；表示特征图的局部标准差，表示相邻特征图之间的局部协方差，t代表特征图的时间尺度，c代表一个常数；
18、对融合时间维度的高级语义特征进行全局平均池化，得到三元帧在语义上的特征向量；
19、将三元帧在低级特征上的相似性特征向量和语义上的特征向量融合，得到前后文特征向量。
20、优选地，所述将所述参考序列特征图和所述失真序列特征图进行结构相似性计算和时序平均池化计算，得到时间相似性特征向量，包括：
21、得到的参考序列和失真序列特征图后，对低级图像特征和高级语义特征均进行参考和失真之间的结构相似性计算进行比较，并配合时序平均池化计算得到特征相似性在时间上的特征向量；
22、所述结构相似性计算以及时序平均池化表述为：
23、
24、其中，和表示在t时刻上的参考和失真特征图，表示在第i尺度上相似性特征向量；和表示参考和失真特征图的局部标准差，表示参考和失真特征图之间的局部协方差。
25、优选地，对所述前后文特征向量和所述时间相似性特征向量进行融合并输入质量回归网络，得到插帧视频客观质量评价分数，包括：
26、采用在通道维度上进行连接的方式，将每种特征向量在多尺度上融合并将两种融合后的向量融合，得到融合特征；
2本文档来自技高网...
【技术保护点】
1.一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，所述特征提取网络为预训练的视频卷积神经网络，通过移除其最后的全连接层和池化层，来进行特征提取。
3.根据权利要求2所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，利用预训练后的神经网络分别从所述参考图像序列、所述失真图像序列和每一组所述三元帧中提取多尺度特征图，即：
4.根据权利要求3所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，在所述特征提取过程中，保留视频卷积神经网络每一降采样阶段后生成的特征图，组成具有多尺度的特征金字塔；
5.根据权利要求4所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，所述将所述三元帧特征图进行前后文相似性计算和平均池化计算，得到三元帧的在时间维度上的前后文特征向量，包括：
6.根据权利要求4所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，所述将所述参考序列特征图和所述
7.根据权利要求1所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，对所述前后文特征向量和所述时间相似性特征向量进行融合并进行质量回归，得到插帧视频客观质量评价分数，包括：
8.一种融合前后文特征的全参考插帧视频质量评价系统，其特征在于，包括：
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的系统。
...【技术特征摘要】
1.一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，所述特征提取网络为预训练的视频卷积神经网络，通过移除其最后的全连接层和池化层，来进行特征提取。
3.根据权利要求2所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，利用预训练后的神经网络分别从所述参考图像序列、所述失真图像序列和每一组所述三元帧中提取多尺度特征图，即：
4.根据权利要求3所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，在所述特征提取过程中，保留视频卷积神经网络每一降采样阶段后生成的特征图，组成具有多尺度的特征金字塔；
5.根据权利要求4所述的一种融合前后文特征的全参考插帧视频质量评价方法，其特征在于，所述将所述三元帧特征图进行前后文相似性计算和平均池化计算，得到三元帧的在时间维度上的前后文特征向量，包括：
【专利技术属性】
技术研发人员：闵雄阔，韩金良，贾子恒，翟广涛，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。