【技术实现步骤摘要】
本专利技术涉及多媒体质量评价，具体地，涉及一种针对插帧视频的无参考视频质量评价方法、系统及终端。
技术介绍
1、随着移动互联网和智能设备的发展，视频数据量迎来爆炸性增长，视频日益成为人们日常生活中不可或缺的一部分。在互联网流媒体数据以及存储数据中，视频占比与日俱增。视频可以被认为由连续的图像序列组成，视频数据的大小也由图像的空间分辨率以及图像的数量决定，视频每秒包含的图像数也量即视频帧率，在很大程度上影响了视频的数据量。视频的帧率同时影响观看者的感知体验，人眼习惯于现实世界的连续性，因此更高的视频帧率能够带给观看者更多的真实感。
2、受到通信系统信道带宽的限制，视频在进行传输时会进行压缩处理，对于视频的帧率进行限制，这为视频信号带来多种失真，涵盖空间和时间等多维度，降低视频用户的感知体验。在时间尺度上，为了弥补这些失真，视频呈现终端会使用视频插帧的方法提高视频帧率。然而视频插帧技术尚处于发展阶段，目前的视频插帧技术无法准确还原未失真视频信号，甚至由于信息的不确定性在内容上产生新的失真，造成比未插帧视频更低的感知体验。因此为了保障视频观看者的用户体验，需要开发设计一种针对插帧视频的质量评价系统，当检测到插帧视频质量低于阈值时可以采取措施保障用户体验。
3、过去的研究中提出了大量的客观质量评价算法，但针对插帧视频的质量评估方法较少。danier等人在《d.danier,f.zhang and d.bull,"flolpips:abespoke videoquality metric for frame int
4、在通用的无参考视频质量评价研究中，由于视频信息的冗余性，研究者通常采用相同帧间隔的方式提取视频特征。此外插帧后的视频在内容上可能会存在非自然变化，诸如伪像或错位等失真。通用方法无法根据这些失真特征进行评价，方法准确性进一步降低。
技术实现思路
1、为了弥补现有技术中上述的不足之处，本专利技术的目的是提供一种针对插帧视频的无参考视频质量评价方法、系统及终端。
2、本专利技术的第一目的，提供一种针对插帧视频的无参考视频质量评价方法，包括：
3、从经过插帧的视频中获得单帧插帧图像，同时取所述单帧插帧图像的前后相邻两帧组成连续的三帧作为一组三元帧，获得多组三元帧；
4、利用预训练后的神经网络分别从每一组三元帧中提取多尺度特征图，学习相邻帧之间的关联性，得到每组三元帧的特征图；
5、将每组三元帧的特征图的多尺度特征分为低级图像特征和高级语义特征，对所述低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；对所述高级语义特征进行池化，得到三元帧的在时间维度上的特征向量；
6、将所述三元帧在低级特征上的相似性特征向量和所述三元帧的在时间维度上的特征向量进行融合并输入质量回归网络，得到插帧视频客观质量评价分数。
7、可选地，所述利用预训练后的神经网络分别从每一组三元帧中提取多尺度特征图，包括：
8、对于每一组三元帧，均采用同一种神经网络提取多尺度特征；
9、所述神经网络为预训练后的视频卷积神经网络，其中：通过移除所述神经网络最后的全连接层和池化层。
10、可选地，所述提取多尺度特征图，其中：
11、在特征提取过程中，保留视频卷积神经网络每一降采样阶段后生成的特征图，组成具有多尺度的特征金字塔。
12、可选地，所述具有多尺度的特征金字塔，包括五种尺度的特征金字塔提取，其中：
13、前三种尺度提取低级图像特征并保留时间维度，后两种尺度提取高级语义特征并融合时间维度，在不同尺度上学习相邻帧之间的关联性。
14、可选地，所述对低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；
15、所述前后文相似性计算表述为：
16、
17、其中，fit和fit+1表示在第i尺度上时间维度相邻的两个特征图，csi(fit,fit+1)表示相邻特征图的前后文相似性；表示特征图的局部标准差，表示相邻特征图之间的局部协方差，t代表特征图的时间尺度，c代表一个常数。
18、可选地，所述对高级语义特征进行池化，得到每组三元帧的在时间维度上的特征向量，其中：
19、得到三元帧的多尺度特征后，对融合时间维度的高级语义特征进行全局平均池化，得到三元帧的语义在时间上的特征向量。
20、可选地，所述三元帧在低级特征上的相似性特征向量和所述三元帧的在时间维度上的特征向量进行融合并输入质量回归网络，得到插帧视频客观质量评价分数，其中：
21、融合方法采用在通道维度上进行连接的方式；
22、质量回归网络由两层全连接层神经网络组成，每层全连接层后连接激活函数，激活函数分别为relu函数和sigmoid函数，最终输出三元帧质量分数作为插帧视频客观质量评价分数。
23、本专利技术的第二目的，提供一种针对插帧视频的无参考视频质量评价系统，包括：
24、特征提取模块：从插帧视频中获取一定数量的插帧图像，每帧插帧图像与其前后两帧组成三元帧；利用预训练后的卷积神经网络从每组三元帧中提取多尺度特征，学习相邻帧之间的关联性，得到每组三元帧的特征图；
25、特征向量计算模块：将每组三元帧的特征图的多尺度特征分为低级图像特征和高级语义特征，对所述低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；对所述高级语义特征进行池化，得到每组三元帧的在时间维度上的特征向量；
26、特征融合回归模块：将得到的所述三元帧在低级特征上的相似性特征向量和所述三元帧的在时间维度上的特征向量进行融合并输入质量回归网络，得到插帧视频客观质量评价分数。
27、本专利技术的第三目的，提供一种针对插本文档来自技高网...
【技术保护点】
1.一种针对插帧视频的无参考视频质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述利用预训练后的神经网络分别从每一组三元帧中提取多尺度特征图，包括：
3.根据权利要求2所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述提取多尺度特征图，其中：
4.根据权利要求3所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述具有多尺度的特征金字塔，包括五种尺度的特征金字塔提取，其中：
5.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述对低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；
6.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述对高级语义特征进行池化，得到三元帧的在时间维度上的特征向量，其中：
7.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述三元帧在低级特征上的相似性特征向量和所述三元帧的在时间维度上的
8.一种针对插帧视频的无参考视频质量评价系统，其特征在于，包括：
9.一种针对插帧视频的无参考视频质量评价终端，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时用于执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一所述方法的步骤。
...【技术特征摘要】
1.一种针对插帧视频的无参考视频质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述利用预训练后的神经网络分别从每一组三元帧中提取多尺度特征图，包括：
3.根据权利要求2所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述提取多尺度特征图，其中：
4.根据权利要求3所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述具有多尺度的特征金字塔，包括五种尺度的特征金字塔提取，其中：
5.根据权利要求1所述的一种针对插帧视频的无参考视频质量评价方法，其特征在于，所述对低级图像特征进行前后文相似性计算，得到三元帧在低级特征上的相似性特征向量；
6.根据权利要求1所述的一种针对插帧视频的无参考视频质量...
【专利技术属性】
技术研发人员：闵雄阔，韩金良，贾子恒，翟广涛，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。