基于双目融合网络与显著性的立体视频质量评价方法技术

本发明专利技术属于视频和图像处理领域，为建立一种有效的基于双目融合网络与显著性的立体视频质量评价方法，且贴合人眼对立体视觉的感知，本发明专利技术，基于双目融合网络与显著性的立体视频质量评价方法，首先，对立体视频的每一帧，通过计算其空间显著性与时间显著性生成显著性图片，并将得到的顺序排列的显著性图片称为左视频时空显著性特征流与右视频时空显著性特征流；然后，将左、右视频时空显著性特征流分别作为网络的两个输入；然后，网络自主地提取融合后的综合特征；最后全连接层将高维的综合特征映射到输出域，得到立体视频的质量分数。本发明专利技术主要应用于视频和图像处理场合。本发明专利技术主要应用于视频和图像处理场合。本发明专利技术主要应用于视频和图像处理场合。

【技术实现步骤摘要】
基于双目融合网络与显著性的立体视频质量评价方法


[0001]本专利技术属于视频和图像处理领域，涉及到视频时空显著性的计算，以及深度学习在立体视频质量评价中的应用。具体涉及基于双目融合网络与显著性的立体视频质量评价方法。

技术介绍

[0002]随着立体视频的广泛应用，一系列立体视频处理技术随之而来，但任何处理技术都有可能对立体内容造成不同程度的失真，从而影响人们对立体视频的感知。因此，有必要找到一个有效的立体视频质量评价算法，来评价立体视频的质量。一个有效的立体视频质量评价方法不仅可以衡量立体视频的失真程度，而且可以为当代3D技术的发展提供技术支持。
[0003]目前，存在的立体视频质量评价方法可被分为三类：传统的方法、基于稀疏的方法和基于深度学习的方法。在传统方法中，最近的文章类似于[1]-[5]。不同的空间特征，时间特征和深度特征被提取，通过不同方式结合后获得立体视频的质量。在基于稀疏的方法中，[6]将从稀疏字典和堆叠自动编码器中提取的特征提供给支持向量机(SVM)，以获得最终质量分数。然而，传统方法和稀疏表示的方法都不符合大脑分层次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目融合网络与显著性的立体视频质量评价方法，其特征是，首先，对立体视频的每一帧，通过计算其空间显著性与时间显著性生成显著性图片，并将得到的顺序排列的显著性图片称为左视频时空显著性特征流与右视频时空显著性特征流；然后，将左、右视频时空显著性特征流分别作为网络的两个输入；然后，网络自主地提取融合后的综合特征；最后全连接层将高维的综合特征映射到输出域，得到立体视频的质量分数。2.如权利要求1所述的基于双目融合网络与显著性的立体视频质量评价方法，其特征是，具体将双目融合网络分为三个部分：左通道、右通道与融合通道，其中，左通道与右通道分别包含四个卷积层和两个池化层，左通道用于提取纯粹的左视点特征，右通道用于提取纯粹的右视点特征，融合通道包含四个卷积层，三个池化层，三个全连接层和四个“加权模块”，在左右通道的每个卷积层之后，将来自不同通道的所有特征图输入给“加权模块”，用以给不同通道的特征图分配权重，然后加权后的图片被送往下一个卷积层来提取融合后的综合特征，即双目融合网络既在浅层融合，也在高层融合，最后，立体视频质量分数由全连接层将高维特征映射到输出域得到。3.如权利要求1所述的基于双目融合网络与显著性的立体视频质量评价方法，其特征是，双目融合网络既在浅层融合，也在高层融合，对于每次融合，先将所有的特征图送入加权模块用来对来自不同通道的特征图加权，因为基于双目竞争机制，左右视点确实被分配不同的权重；然后，加权后的图片被送往下一个卷积层来提取融合后的综合特征；另外，在融合通道，低层的输出被传递给高层，对应着大脑中低级视觉区域的输出是高级视觉区域输入的事实；最后，高维特征被映射到输出域得到每一帧的质量，平均所有帧的质量得到立体视频的质量。4.如权利要求1所述的基于...

【专利技术属性】
技术研发人员：李素梅，李玟，马帅，
申请(专利权)人：天津大学，
类型：发明
国别省市：