基于分段堆栈式自编码器的立体图像质量评价方法技术

本发明专利技术涉及一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征

Stereo image quality assessment method based on segmented stack self encoders

The present invention relates to a method for evaluating the quality of stereoscopic images based on segmented stack self-encoder. Under unsupervised conditions, the primary edge features extracted from graphs, difference graphs and monocular graphs are presented.

【技术实现步骤摘要】
基于分段堆栈式自编码器的立体图像质量评价方法
本专利技术属图像处理领域，涉及一种无参考立体图像质量客观评价方法。
技术介绍
随着立体显示技术的飞速发展，立体显示技术已经广泛应用到各个领域。与平面图像相比，立体图像给观众带来全新的体验和临场感。因此，立体图像处理研究受到人们的广泛关注。但是，因为设备和处理手段等等因素的影响，立体图像在采集、压缩、传输和存储过程中会引入失真，影响立体图像的质量。因此，需要研究一种可以有效评价立体图像质量的评价方法。虽然主观质量评价是非常可靠的评价方法，但是，主观评价方法会消耗大量的人力与时间，实时性差。此外，主观评价方法容易受到人类自身与外在环境因素的干扰，评价结果也不够稳定。相对主观评价，客观评价利用软件评价图像的质量，不需组织人员参与大量主观试验，操作简单，同时与主观评价的结果高度相关，因此，越来越受到相关研究者的关注。当前，客观立体图像质量评价根据评价过程中是否使用原始图像，主要分为三种方法，分别为全参考立体图像质量评价、部分参考质量评价和无参考质量评价。前两种方法利用原始图像，或者原始图像的部分信息对立体图像做出客观评价，具有很大的局限性。无参考质量评价，也是最符合实际情况的方法。由于对双目特性考虑不充分，对双目处理立体图像过程了解不透彻等问题，立体图像质量评价仍然是当前研究的热点和难点。
技术实现思路
本专利技术的目的在于提供一种模拟人眼对立体图像感知和图像处理过程的无参考立体图像质量评价方法。本专利技术提取立体图像的边缘和色彩等初级特征，通过分段堆栈式自编码器或堆栈式自编码器，将这些初级特征转化为更符合人眼特性抽象的深层级特征，从而对立体图像质量做出更加全面、准确的客观评价。技术方案如下：一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征和输入三个训练好的分段堆栈式自编码器S-SAE，得到抽象的深层边缘特征和然后使用堆栈式自动编码器SAE对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征最后通过将立体图像的深层特征向量和对应的MOS值进行拟合，进而利用待测立体图像的深层特征向量预测其质量分数。包括以下步骤：第一步：合成左右LoG图的和图(S)、差图(D)和单眼图(C)使用高斯拉普拉斯LoG滤波器对图像对进行滤波，能得到左右LoG图，将LoG的参数设置为(n,σ)∈{(3,0.5),(7,1),(13,2)}，其中σ为高斯拉普拉斯算子的标准差，由此获取三种边缘厚度的左右LoG图；然后，计算各个左右LoG图的和图、差图和单眼图；第二步：提取和图、差图和单眼图的初级边缘特征和利用广义高斯分布GGD模型拟合和图的MSCN系数直方图，将GGD的方差和形状参数作为和图的2个特征；利用4个非对称广义高斯分布AGGD模型分别拟合和图的水平、竖直、主对角线、次对角线这4个方向的MSCN邻域系数直方图，将上述4个AGGD模型的均值、方差、形状、尺寸这4个参数作为和图的特征，提取出16个特征；此外，将和图的幅度、方差、熵信息作为和图的3个特征；由于有三种边缘厚度的左右LoG图，故有三种边缘厚度的和图；依据上述步骤，每种边缘厚度的和图提取21维特征向量，最终从和图中提取出63维初级边缘特征向量差图和单眼图的特征提取方法与和图相同，从差图和单眼图均提取出63维初级边缘特征向量和第三步：训练3个分段堆栈式自编码器S-SAE随机选择图像库中50％的图像对训练三个分段堆栈式自编码器S-SAE，将从和图、差图和单眼图中提取到的初级边缘特征和作为样本分别训练三个分段堆栈式自编码器S-SAE；每个分段堆栈式自编码器S-SAE由3个局部堆栈式自编码器localSAE组成；根据图像边缘厚度不同，分段堆栈式自编码器将输入的分为三段，每段21个特征，输入到3个localSAE中，分别对这3个localSAE进行训练；训练得到3个具有三层隐藏层的localSAE，且3个localSAE各层单元数均为21-18-14-12，最后将localSAE的输出层串联，得到和图的分段堆栈式自编码器S-SAE-S；根据上述步骤，训练得到差图的分段堆栈式自编码器S-SAE-D和单眼图的分段堆栈式自编码器S-SAE-C，且这两种S-SAE的localSAE各层单元数均为21-18-14-12；第四步：提取和图、差图和单眼图的深层特征和将和输入训练好的S-SAE-S、S-SAE-D和S-SAE-C，三个分段堆栈式自编码器将和分别编码为抽象的深层边缘特征和第五步：提取色彩图的初级色彩特征向量用6个AGGD模型分别拟合左图的三个色彩图：RG图、BY图和Lum图和右图的三个色彩图：RG图、BY图和Lum图，提取AGGD模型的形状、左方差和右方差，同时计算这6个AGGD模型的峰度、偏度值；共提取出30维初级色彩特征向量第六步：提取色彩图的深层色彩特征向量随机选择图像库中50％的图像对训练一个堆栈式自编码器SAE，该堆栈式自编码器的各层单元数为30-25-20-15，将输入训练好的SAE，SAE将编码为抽象的深层色彩特征向量第七步：计算立体图像局部质量分数随机选择图像库中80％的图像对作为训练集，利用训练集中图像对的与相应的MOS训练对应的支持向量回归机SVR-S；把图像库中剩余20％的图像对作为测试集，利用SVR-S预测和图的质量分数用上述方法，得到差图、单眼图和色彩图的质量分数，分别为和第八步：计算立体图像的客观质量分数1利用动态权重计算与边缘信息相关的局部质量分数将和图质量分数与差图质量分数进行加权，得到和差图质量分数QSD：QSD＝WDQD+(1-WD)QS1其中，差图的权重μL和μR是L和R的期望，σL,σR是方差，C1，C2是定值，C1＝0.6，C2＝5；将和差图质量分数与单眼图分数合并，得到边缘特征质量分数Qedge：Qedge＝WCQC+(1-WC)QSD2其中，C3，C4是定值，C3＝0.55，C4＝0.8；2计算立体图像质量分数给边缘的质量分数分配更高的权重：Q＝WedgeQedge+WcolorQcolor3其中边缘权重Wedge＝0.8、Wcolor＝0.2。本专利技术所提出的立体图像客观质量评价方法以图像的边缘信息和图像色彩信息为基础，结合整个视觉感知通道的运作机制，利用分段堆栈式自编码器模拟人眼处理图像信息的过程，建立了无参考立体图像质量客观评价模型。得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映立体图像的质量。附图说明图1为基于分段堆栈式自编码器的立体图像质量评价方法流程图，图2为图像对中左图的RG图、BY图和Lum图，图3为一个分段堆栈式自动编码器的结构图。具体实施方式本专利技术的基于分段堆栈式自编码器的立体图像质量评价方法，利用三个的分段堆栈式自编码器将和图、差图和单眼图这三者的初级边缘特征向量转换为抽象的深层边缘特征向量，然后使用堆栈式自动编码器对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征向量，这些深层特征向量能够反应立体图像失真的程度，从而对失真立体图像进行质量评价，步骤如下：第一步：合成左右LoG图(LGoL、RGoL)的和图、差图和单眼图模仿视网膜神经细胞提取图像边缘的过程，使用高斯拉普拉斯(Lapl本文档来自技高网...

【技术保护点】
1.一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征

【技术特征摘要】
1.一种基于分段堆栈式自编码器的立体图像质量评价方法，在无监督条件下，将从和图、差图和单眼图中提取的初级边缘特征和输入三个训练好的分段堆栈式自编码器S-SAE，得到抽象的深层边缘特征和然后使用堆栈式自动编码器SAE对色彩图的初级色彩特征进行编码，得到抽象的深层色彩特征最后通过将立体图像的深层特征向量和对应的MOS值进行拟合，进而利用待测立体图像的深层特征向量预测其质量分数。包括以下步骤：第一步：合成左右LoG图的和图(S)、差图(D)和单眼图(C)使用高斯拉普拉斯LoG滤波器对图像对进行滤波，能得到左右LoG图，将LoG的参数设置为(n,σ)∈{(3,0.5),(7,1),(13,2)}，其中σ为高斯拉普拉斯算子的标准差，由此获取三种边缘厚度的左右LoG图；然后，计算各个左右LoG图的和图、差图和单眼图；第二步：提取和图、差图和单眼图的初级边缘特征和利用广义高斯分布GGD模型拟合和图的MSCN系数直方图，将GGD的方差和形状参数作为和图的2个特征；利用4个非对称广义高斯分布AGGD模型分别拟合和图的水平、竖直、主对角线、次对角线这4个方向的MSCN邻域系数直方图，将上述4个AGGD模型的均值、方差、形状、尺寸这4个参数作为和图的特征，提取出16个特征；此外，将和图的幅度、方差、熵信息作为和图的3个特征；由于有三种边缘厚度的左右LoG图，故有三种边缘厚度的和图；依据上述步骤，每种边缘厚度的和图提取21维特征向量，最终从和图中提取出63维初级边缘特征向量差图和单眼图的特征提取方法与和图相同，从差图和单眼图均提取出63维初级边缘特征向量和第三步：训练3个分段堆栈式自编码器S-SAE随机选择图像库中50％的图像对训练三个分段堆栈式自编码器S-SAE，将从和图、差图和单眼图中提取到的初级边缘特征和作为样本分别训练三个分段堆栈式自编码器S-SAE；每个分段堆栈式自编码器S-SAE由3个局部堆栈式自编码器localSAE组成；根据图像边缘厚度不同，分段堆栈式自编码器将输入的分为三段，每段21个特征，输入到3个localSAE中，分别对这3个localSAE进行训练；训练得到3个具有三层隐藏层的localSAE...

【专利技术属性】
技术研发人员：杨嘉琛，赵洋，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12