基于双目融合网络的立体图像质量评价方法技术

本发明专利技术属于图像处理领域，本发明专利技术旨在基于人眼视觉机制，建立一种有效的基于双目融合网络的立体图像质量评价方法。此评价方法更加准确高效，且贴合人眼对立体视觉的感知，同时在一定程度上推动了立体成像技术、压缩技术等一系列3D技术的发展。为此，本发明专利技术采取的技术方案是，基于双目融合网络的立体图像质量评价方法，首先将原始的立体图像对作为双目融合网络的两个输入。然后双目融合网络通过在低层与高层的融合自主地提取深度特征，同时结合网络提取的空间特征，得到立体图像的质量分数。本发明专利技术主要应用于图像处理、质量评价场合。

Stereo Image Quality Evaluation Method Based on Binocular Fusion Network

【技术实现步骤摘要】
基于双目融合网络的立体图像质量评价方法
本专利技术属于图像处理领域，涉及到图片的融合、立体内容的深度感知，以及深度学习在立体图像质量评价中的应用。
技术介绍
随着立体成像技术的飞速发展，立体图像的质量劣化严重影响着人类的观看体验。为解决这一问题，需要研究一种有效的立体图像质量评价方法。同时，一种有效的立体图像质量评价方法还可以为制作者提供技术支持，以便于更好的改进诸如压缩、传输、显示等3D技术。一般来说，立体图像质量评价方法分为基于2D图像的方法[1][2]、基于特征提取的方法[3][4][5]、基于稀疏表示的方法[6][7][8]与基于深度学习的方法[9][10][11]。这里重点描述基于深度学习的方法。例如，在文献[9]中，杨等人提出一种新的无参考立体图像质量评价模型，该模型从类标签当中学习自然场景统计特征。在文献[10]中，丁等人提出一种无参考的质量评价方法。首先利用卷积神经网络(CNN)提取特征，然后用支持向量回归所提特征，从而得到质量分数。文献[11]中提出了一种基于双目自相似性和深度神经网络的立体图像质量评价方法。然而，以上文献并不能完全匹配大脑的立体视觉机制。在文献[1][10]中，使用视差表示立体信息。在文献[2][11]中，使用深度图表示立体信息。但是视差与深度图并不能完全代表立体信息。论文[7][8]在最后一步对左视图质量与右视图质量进行加权，而文献[12][13][14]首先将左右视图融合成单视点视图，再像2D图像一样处理。但是这样的视点间处理方式过于简单，且不完全符合大脑融合机制。因此，构建本专利技术的双目融合网络。本专利技术的设计灵感来源于大脑皮层对3D视觉信号的响应原理。具体地说，当大脑处理立体视觉时，双目视差首先在初级视觉皮层V1区域形成。进一步地，次级视觉皮层V2中的视差选择性神经增强深度感知。然后，3D视觉刺激导致视觉皮层V3区域激活[15]。V4视觉区域在精细的深度感知与3D成像方面起着至关重要的作用[16]。因此，神经元对双目视差与深度感知的响应存在于低层视觉区域与高层视觉区域。此外，双目竞争涉及低层视觉区域与高层视觉区域的神经竞争[17][18][19]，以及V1、V2、V3和V4区域神经元活性的增强[20]。它们是与双目视差与深度感知在视觉皮层的反映一致的。本专利技术完全根据双目视觉机制设计提出的双目融合网络。网络的两个输入对应人的两个眼睛。网络在低层与高层的融合对应深度感知在大脑低层与高层的响应。一种特定的融合方式对应着双目竞争。本专利技术提出了一种完全基于人眼视觉机制的双目融合网络。该网络通过自主地学习与提取空间特征与深度特征来获得立体图像的质量分数。
技术实现思路
为克服现有技术的不足，本专利技术旨在基于人眼视觉机制，建立一种有效的基于双目融合网络的立体图像质量评价方法。此评价方法更加准确高效，且贴合人眼对立体视觉的感知，同时在一定程度上推动了立体成像技术、压缩技术等一系列3D技术的发展。为此，本专利技术采取的技术方案是，基于双目融合网络的立体图像质量评价方法，首先将原始的立体图像对作为双目融合网络的两个输入。然后双目融合网络通过在低层与高层的融合自主地提取深度特征，同时结合网络提取的空间特征，得到立体图像的质量分数。双目融合网络整体框架基于Alexnet网络搭建，双目融合网络被分为三个部分：左通道、右通道与融合通道；其中，左通道与右通道分别包含四个卷积层与两个池化层，左通道用于提取纯粹的左视点特征，右通道用于提取纯粹的右视点特征，融合通道包含四个卷积层，三个池化层与三个全连接层，在左右通道的每次卷积操作之后均有一次融合操作，故融合通道共有四次融合，这四次融合与大脑V1、V2、V3、V4四个区域的深度感知相对应，即双目融合网络既在浅层融合，也在高层融合，融合通道用于提取深度特征，最后，立体图像质量分数由全连接层将高维特征映射到输出域得到。双目融合网络中的卷积操作被定义为式(1)Fl＝RELU(Wl*Flth_input+Bl)(1)在式(1)中，Wl与Bl分别代表第l层卷积层的权重与偏执，Fl代表第l层卷积层输出的特征图，Flth_input代表第l层卷积层的输入。RELU为激活函数，*代表卷积操作。双目融合网络中的所有池化层都为最大池化，在利用反向传播算法训练网络时，通过最小化损失函数来学习卷积层、池化层与全连接层的参数，双目融合网络使用欧几里得函数，如式(2)所示。在(2)中，Yi与yi分别代表样本i的期望输出与真实输出。n代表批处理的大小。本专利技术的特点及有益效果是：本专利技术所提出的双目融合网络充分考虑了大脑对立体视觉信号的处理机制，其网络结构完全依照此处理机制设计搭建，在理论与实践上均表明本方法具有有效性。本专利技术所提方法在公开的立体图像库LIVE3D上进行了实验，其实验结果表明本方法不仅适用于评价对称失真的立体图像，且适用于评价非对称失真的立体图像。附图说明：图1本方法的具体流程。其中，“Conv”代表卷积层，“Pool”代表池化层，“fc”代表全连接层。每层中的小方块代表该层的卷积核，卷积核下的数字代表卷积核的大小。箭头上方的数字代表相应输出特征图的大小，表示为长×宽×通道数。具体实施方式本专利技术首先将原始的立体图像对作为双目融合网络的两个输入。然后双目融合网络通过在低层与高层的融合自主地提取深度特征，同时结合网络提取的空间特征，得到立体图像的质量分数。双目融合网络：所提出的双目融合网络整体框架基于Alexnet网络[21]搭建。双目融合网络被分为三个部分：左通道、右通道与融合通道。其中，左通道与右通道分别包含四个卷积层与两个池化层。左通道用于提取纯粹的左视点特征，右通道用于提取纯粹的右视点特征。融合通道包含四个卷积层，三个池化层与三个全连接层。在左右通道的每次卷积操作之后均有一次融合操作，故融合通道共有四次融合。这四次融合与大脑V1、V2、V3、V4四个区域的深度感知相对应。即双目融合网络既在浅层融合，也在高层融合。显然，融合通道用于提取深度特征。最后，立体图像质量分数由全连接层将高维特征映射到输出域得到。本专利技术在公开的立体图像库LIVE3D上进行了实验。其中，LIVEI库包含了20张参考立体图像对，365张对称失真的立体图像对。LIVEII库包含了8张参考立体图像对，120张对称失真与240张非对称失真的立体图像对。且LIVEI库与LIVEII库均包含JPEG，JPEG2000，白噪声，模糊和快衰落这五种失真类型。下面结合技术方法详细说明本方法。本专利技术模仿人脑立体视觉处理机制，提出了一种基于双目融合网络的立体图像质量评价方法。首先，将原始的立体图像对作为双目融合网络的输入。然后，由网络自主地提取深度特征与空间特征。最后，全连接层将高维的综合特征映射到输出域，得到立体图像的质量分数。其具体流程如图1所示。下面将详细介绍本专利技术所提出的双目融合网络。所提出的双目融合网络整体框架基于Alexnet网络[21]搭建，如图1所示。双目融合网络被分为三个部分：左通道、右通道与融合通道。其中，左通道与右通道分别包含四个卷积层与两个池化层。左通道用于提取纯粹的左视点特征，右通道用于提取纯粹的右视点特征。融合通道包含四个卷积层，三个池化层与三个全连接层。在左右通道的每次卷积操作之后均本文档来自技高网...

【技术保护点】
1.一种基于双目融合网络的立体图像质量评价方法，其特征是，首先将原始的立体图像对作为双目融合网络的两个输入，然后双目融合网络通过在低层与高层的融合自主地提取深度特征，同时结合网络提取的空间特征，得到立体图像的质量分数。

【技术特征摘要】
1.一种基于双目融合网络的立体图像质量评价方法，其特征是，首先将原始的立体图像对作为双目融合网络的两个输入，然后双目融合网络通过在低层与高层的融合自主地提取深度特征，同时结合网络提取的空间特征，得到立体图像的质量分数。2.如权利要求1所述的基于双目融合网络的立体图像质量评价方法，其特征是，具体地，双目融合网络整体框架基于Alexnet网络搭建，双目融合网络被分为三个部分：左通道、右通道与融合通道；其中，左通道与右通道分别包含四个卷积层与两个池化层，左通道用于提取纯粹的左视点特征，右通道用于提取纯粹的右视点特征，融合通道包含四个卷积层，三个池化层与三个全连接层，在左右通道的每次卷积操作之后均有一次融合操作，故融合通道共有四次融合，这四次融合与大脑V1、V2、V3、V4四个区域的深度感知相对应，即双目融合网络既在浅层融合，也在高层融合，融...

【专利技术属性】
技术研发人员：李素梅，马帅，韩旭，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12