一种基于质量图生成网络的无参考立体图像质量评价方法技术

本发明专利技术公开了一种基于质量图生成网络的无参考立体图像质量评价方法，其在训练阶段，构建一个质量图生成网络，将训练集中的所有失真平面图像的归一化图像依次输入到质量图生成网络中，并将对应的质量图作为监督，训练得到最优的质量图生成网络模型；在测试阶段，利用最优的质量图生成网络模型提取出待评价的失真立体图像的左视点图像、右视点图像和融合图像各自的归一化图像的预测质量图，并获取各自的显著特征图，然后根据对应的预测质量图和显著特征图，求取各自的预测质量得分，再融合三个预测质量得分得到最终的预测质量得分；优点是其能充分考虑到立体图像的多种特性对视觉质量的影响，从而能提高客观评价结果与双目主观感知之间的相关性。

【技术实现步骤摘要】
一种基于质量图生成网络的无参考立体图像质量评价方法
本专利技术涉及一种图像质量评价技术，尤其是涉及一种基于质量图生成网络的无参考立体图像质量评价方法。
技术介绍
随着立体图像应用的飞速发展，很多相关的立体图像技术和服务已经被引入到人们的日常生活以及许多专业领域中。在收集、传输、处理和显示立体图像的时候，可能会发生各种各样的失真。因此，建立一种高性能的立体图像质量评价方法具有重大的实用意义。立体图像质量评价分为主观评价和客观评价两种方式。主观评价是人们直接对立体图像进行主观评价，由于人类视觉系统(HumanVisualSystem，HSV)是立体图像的最终接收者，因此主观评价是非常具有说服力的。然而在实际应用中，由于主观评价非常的耗时和费力，达不到实时应用系统的要求，因此客观评价在立体图像质量评价中占据着主导地位。客观立体图像质量评价方法主要有三类，分别为全参考评价方法、半参考评价方法和无参考评价方法。全参考评价方法是利用无失真的原始图像与失真图像进行对比，从而获得它们之间的差异性。半参考评价方法利用了部分原始图像信息。而无参考评价方法则完全没有利用原始图像信息。由于原始图像在实际应用中很难得到，因此无参考评价方法具有更高的研究价值。现有的大多数立体图像质量评价方法都无法精确判断立体图像的质量，并且很少考虑模型的通用性，都是在一个数据库上进行训练及测试，也没有将图像显著性作为考虑对象。立体图像的左视点与右视点权重分配问题也严重影响着立体图像的质量，在现有的立体图像质量评价方法中也很少考虑。因此，如何在评价过程中有效地提取特征信息，并有效地学习特征信息，在评价过程中考虑模型的通用性，并考虑立体图像的显著性，使得客观评价结果更加符合人类视觉感知系统，是对立体图像进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于质量图生成网络的无参考立体图像质量评价方法，其能够充分考虑到立体图像的多种特性对视觉质量的影响，从而能够提高客观评价结果与双目主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1、选取nwsz幅原始的无失真平面图像，建立其在不同失真类型不同失真程度下的失真平面图像集合，将该失真平面图像集合作为训练集，训练集中包含多幅失真平面图像，将训练集中的第i幅失真平面图像记为{Idis,i(x',y')}，将{Idis,i(x',y')}相应的原始的无失真平面图像记为{Iref,i(x',y')}；其中，nwsz为正整数，nwsz＞1，i为正整数，i的初始值为1，1≤i≤nsz，nsz表示训练集中包含的失真平面图像的总幅数，1≤x'≤W'，1≤y'≤H'，W'表示{Idis,i(x',y')}和{Iref,i(x',y')}的宽度，H'表示{Idis,i(x',y')}和{Iref,i(x',y')}的高度，Idis,i(x',y')表示{Idis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，Iref,i(x',y')表示{Iref,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_2、采用基于结构相似度的质量图求取方法，结合训练集中的每幅失真平面图像及其相应的原始的无失真平面图像，获取训练集中的每幅失真平面图像的质量图，将{Idis,i(x',y')}的质量图记为{Qdis,i(x',y')}，{Qdis,i(x',y')}为结合{Idis,i(x',y')}和{Iref,i(x',y')}得到；其中，Qdis,i(x',y')表示{Qdis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；采用归一化方法，对训练集中的每幅失真平面图像进行归一化处理，得到训练集中的每幅失真平面图像的归一化图像，将{Idis,i(x',y')}的归一化图像记为{Ndis,i(x',y')}；其中，Ndis,i(x',y')表示{Ndis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_3、构建一个质量图生成网络：质量图生成网络是U-Net改进的卷积神经网络，质量图生成网络包括输入层、中间层和输出层，中间层由24个卷积层、4个最大池化层、4个上采样层、4个联接层组成；其中，所有卷积层各自的卷积核大小为3×3、步长为2、使用的激活函数为ReLU，第1个、第2个、第20个、第21个、第22个、第23个卷积层各自的卷积核个数为16，第3个、第4个、第17个、第18个、第19个卷积层各自的卷积核个数为32，第5个、第6个、第14个、第15个、第16个卷积层各自的卷积核个数为64，第7个、第8个、第11个、第12个、第13个卷积层各自的卷积核个数为128，第9个、第10个卷积层各自的卷积核个数为256，第24个卷积层的卷积核个数为1，所有最大池化层各自的池化窗口大小为3×3、步长为2，所有上采样层各自的上采样步长为2，所有联接层均采用concat联接函数；对于输入层，输入层的输入端接收一幅输入图像，输入层的输出端输出输入图像给中间层；其中，要求输入层的输入端接收的输入图像的宽度为W'、高度为H'；对于中间层，第1个卷积层的输入端接收输入层的输出端输出的输入图像，第1个卷积层的输出端输出16幅特征图；第2个卷积层的输入端接收第1个卷积层的输出端输出的所有特征图，第2个卷积层的输出端输出16幅特征图；第1个最大池化层的输入端接收第2个卷积层的输出端输出的所有特征图，第1个最大池化层的输出端输出16幅特征图；第3个卷积层的输入端接收第1个最大池化层的输出端输出的所有特征图，第3个卷积层的输出端输出32幅特征图；第4个卷积层的输入端接收第3个卷积层的输出端输出的所有特征图，第4个卷积层的输出端输出32幅特征图；第2个最大池化层的输入端接收第4个卷积层的输出端输出的所有特征图，第2个最大池化层的输出端输出32幅特征图；第5个卷积层的输入端接收第2个最大池化层的输出端输出的所有特征图，第5个卷积层的输出端输出64幅特征图；第6个卷积层的输入端接收第5个卷积层的输出端输出的所有特征图，第6个卷积层的输出端输出64幅特征图；第3个最大池化层的输入端接收第6个卷积层的输出端输出的所有特征图，第3个最大池化层的输出端输出64幅特征图；第7个卷积层的输入端接收第3个最大池化层的输出端输出的所有特征图，第7个卷积层的输出端输出128幅特征图；第8个卷积层的输入端接收第7个卷积层的输出端输出的所有特征图，第8个卷积层的输出端输出128幅特征图；第4个最大池化层的输入端接收第8个卷积层的输出端输出的所有特征图，第4个最大池化层的输出端输出128幅特征图；第9个卷积层的输入端接收第4个最大池化层的输出端输出的所有特征图，第9个卷积层的输出端输出256幅特征图；第10个卷积层的输入端接收第9个卷积层的输出端输出的所有特征图，第10个卷积层的输出端输出256幅特征图；第1个上采样层的输入端接收第10个卷积层的输出端输出的所有特征图，第1个上采样层的输出端输出256幅特征图；第11个卷积层的输入端接收第1个上本文档来自技高网...

【技术保护点】
1.一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1、选取nwsz幅原始的无失真平面图像，建立其在不同失真类型不同失真程度下的失真平面图像集合，将该失真平面图像集合作为训练集，训练集中包含多幅失真平面图像，将训练集中的第i幅失真平面图像记为{Idis,i(x',y')}，将{Idis,i(x',y')}相应的原始的无失真平面图像记为{Iref,i(x',y')}；其中，nwsz为正整数，nwsz＞1，i为正整数，i的初始值为1，1≤i≤nsz，nsz表示训练集中包含的失真平面图像的总幅数，1≤x'≤W'，1≤y'≤H'，W'表示{Idis,i(x',y')}和{Iref,i(x',y')}的宽度，H'表示{Idis,i(x',y')}和{Iref,i(x',y')}的高度，Idis,i(x',y')表示{Idis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，Iref,i(x',y')表示{Iref,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_2、采用基于结构相似度的质量图求取方法，结合训练集中的每幅失真平面图像及其相应的原始的无失真平面图像，获取训练集中的每幅失真平面图像的质量图，将{Idis,i(x',y')}的质量图记为{Qdis,i(x',y')}，{Qdis,i(x',y')}为结合{Idis,i(x',y')}和{Iref,i(x',y')}得到；其中，Qdis,i(x',y')表示{Qdis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；采用归一化方法，对训练集中的每幅失真平面图像进行归一化处理，得到训练集中的每幅失真平面图像的归一化图像，将{Idis,i(x',y')}的归一化图像记为{Ndis,i(x',y')}；其中，Ndis,i(x',y')表示{Ndis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_3、构建一个质量图生成网络：质量图生成网络是U‑Net改进的卷积神经网络，质量图生成网络包括输入层、中间层和输出层，中间层由24个卷积层、4个最大池化层、4个上采样层、4个联接层组成；其中，所有卷积层各自的卷积核大小为3×3、步长为2、使用的激活函数为ReLU，第1个、第2个、第20个、第21个、第22个、第23个卷积层各自的卷积核个数为16，第3个、第4个、第17个、第18个、第19个卷积层各自的卷积核个数为32，第5个、第6个、第14个、第15个、第16个卷积层各自的卷积核个数为64，第7个、第8个、第11个、第12个、第13个卷积层各自的卷积核个数为128，第9个、第10个卷积层各自的卷积核个数为256，第24个卷积层的卷积核个数为1，所有最大池化层各自的池化窗口大小为3×3、步长为2，所有上采样层各自的上采样步长为2，所有联接层均采用concat联接函数；对于输入层，输入层的输入端接收一幅输入图像，输入层的输出端输出输入图像给中间层；其中，要求输入层的输入端接收的输入图像的宽度为W'、高度为H'；对于中间层，第1个卷积层的输入端接收输入层的输出端输出的输入图像，第1个卷积层的输出端输出16幅特征图；第2个卷积层的输入端接收第1个卷积层的输出端输出的所有特征图，第2个卷积层的输出端输出16幅特征图；第1个最大池化层的输入端接收第2个卷积层的输出端输出的所有特征图，第1个最大池化层的输出端输出16幅特征图；第3个卷积层的输入端接收第1个最大池化层的输出端输出的所有特征图，第3个卷积层的输出端输出32幅特征图；第4个卷积层的输入端接收第3个卷积层的输出端输出的所有特征图，第4个卷积层的输出端输出32幅特征图；第2个最大池化层的输入端接收第4个卷积层的输出端输出的所有特征图，第2个最大池化层的输出端输出32幅特征图；第5个卷积层的输入端接收第2个最大池化层的输出端输出的所有特征图，第5个卷积层的输出端输出64幅特征图；第6个卷积层的输入端接收第5个卷积层的输出端输出的所有特征图，第6个卷积层的输出端输出64幅特征图；第3个最大池化层的输入端接收第6个卷积层的输出端输出的所有特征图，第3个最大池化层的输出端输出64幅特征图；第7个卷积层的输入端接收第3个最大池化层的输出端输出的所有特征图，第7个卷积层的输出端输出128幅特征图；第8个卷积层的输入端接收第7个卷积层的输出端输出的所有特征图，第8个卷积层的输出端输出128幅特征图；第4个最大池化层的输入端接收第8个卷积层的输出端输出的所有特征图，第4个最大池化层的输出端输出128幅特征图；第9个卷积层的输入端接收第4个最大池化层的输出端输出的所有特征图，第9个卷积层的输出端输出256幅特征图；第...

【技术特征摘要】
1.一种基于质量图生成网络的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1、选取nwsz幅原始的无失真平面图像，建立其在不同失真类型不同失真程度下的失真平面图像集合，将该失真平面图像集合作为训练集，训练集中包含多幅失真平面图像，将训练集中的第i幅失真平面图像记为{Idis,i(x',y')}，将{Idis,i(x',y')}相应的原始的无失真平面图像记为{Iref,i(x',y')}；其中，nwsz为正整数，nwsz＞1，i为正整数，i的初始值为1，1≤i≤nsz，nsz表示训练集中包含的失真平面图像的总幅数，1≤x'≤W'，1≤y'≤H'，W'表示{Idis,i(x',y')}和{Iref,i(x',y')}的宽度，H'表示{Idis,i(x',y')}和{Iref,i(x',y')}的高度，Idis,i(x',y')表示{Idis,i(x',y')}中坐标位置为(x',y')的像素点的像素值，Iref,i(x',y')表示{Iref,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_2、采用基于结构相似度的质量图求取方法，结合训练集中的每幅失真平面图像及其相应的原始的无失真平面图像，获取训练集中的每幅失真平面图像的质量图，将{Idis,i(x',y')}的质量图记为{Qdis,i(x',y')}，{Qdis,i(x',y')}为结合{Idis,i(x',y')}和{Iref,i(x',y')}得到；其中，Qdis,i(x',y')表示{Qdis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；采用归一化方法，对训练集中的每幅失真平面图像进行归一化处理，得到训练集中的每幅失真平面图像的归一化图像，将{Idis,i(x',y')}的归一化图像记为{Ndis,i(x',y')}；其中，Ndis,i(x',y')表示{Ndis,i(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤1_3、构建一个质量图生成网络：质量图生成网络是U-Net改进的卷积神经网络，质量图生成网络包括输入层、中间层和输出层，中间层由24个卷积层、4个最大池化层、4个上采样层、4个联接层组成；其中，所有卷积层各自的卷积核大小为3×3、步长为2、使用的激活函数为ReLU，第1个、第2个、第20个、第21个、第22个、第23个卷积层各自的卷积核个数为16，第3个、第4个、第17个、第18个、第19个卷积层各自的卷积核个数为32，第5个、第6个、第14个、第15个、第16个卷积层各自的卷积核个数为64，第7个、第8个、第11个、第12个、第13个卷积层各自的卷积核个数为128，第9个、第10个卷积层各自的卷积核个数为256，第24个卷积层的卷积核个数为1，所有最大池化层各自的池化窗口大小为3×3、步长为2，所有上采样层各自的上采样步长为2，所有联接层均采用concat联接函数；对于输入层，输入层的输入端接收一幅输入图像，输入层的输出端输出输入图像给中间层；其中，要求输入层的输入端接收的输入图像的宽度为W'、高度为H'；对于中间层，第1个卷积层的输入端接收输入层的输出端输出的输入图像，第1个卷积层的输出端输出16幅特征图；第2个卷积层的输入端接收第1个卷积层的输出端输出的所有特征图，第2个卷积层的输出端输出16幅特征图；第1个最大池化层的输入端接收第2个卷积层的输出端输出的所有特征图，第1个最大池化层的输出端输出16幅特征图；第3个卷积层的输入端接收第1个最大池化层的输出端输出的所有特征图，第3个卷积层的输出端输出32幅特征图；第4个卷积层的输入端接收第3个卷积层的输出端输出的所有特征图，第4个卷积层的输出端输出32幅特征图；第2个最大池化层的输入端接收第4个卷积层的输出端输出的所有特征图，第2个最大池化层的输出端输出32幅特征图；第5个卷积层的输入端接收第2个最大池化层的输出端输出的所有特征图，第5个卷积层的输出端输出64幅特征图；第6个卷积层的输入端接收第5个卷积层的输出端输出的所有特征图，第6个卷积层的输出端输出64幅特征图；第3个最大池化层的输入端接收第6个卷积层的输出端输出的所有特征图，第3个最大池化层的输出端输出64幅特征图；第7个卷积层的输入端接收第3个最大池化层的输出端输出的所有特征图，第7个卷积层的输出端输出128幅特征图；第8个卷积层的输入端接收第7个卷积层的输出端输出的所有特征图，第8个卷积层的输出端输出128幅特征图；第4个最大池化层的输入端接收第8个卷积层的输出端输出的所有特征图，第4个最大池化层的输出端输出128幅特征图；第9个卷积层的输入端接收第4个最大池化层的输出端输出的所有特征图，第9个卷积层的输出端输出256幅特征图；第10个卷积层的输入端接收第9个卷积层的输出端输出的所有特征图，第10个卷积层的输出端输出256幅特征图；第1个上采样层的输入端接收第10个卷积层的输出端输出的所有特征图，第1个上采样层的输出端输出256幅特征图；第11个卷积层的输入端接收第1个上采样层的输出端输出的所有特征图，第11个卷积层的输出端输出128幅特征图；第1个联接层的输入端接收第11个卷积层的输出端输出的所有特征图和第8个卷积层的输出端输出的所有特征图，第1个联接层的输出端输出256幅特征图；第12个卷积层的输入端接收第1个联接层的输出端输出的所有特征图，第12个卷积层的输出端输出128幅特征图；第13个卷积层的输入端接收第12个卷积层的输出端输出的所有特征图，第13个卷积层的输出端输出128幅特征图；第2个上采样层的输入端接收第13个卷积层的输出端输出的所有特征图，第2个上采样层的输出端输出128幅特征图；第14个卷积层的输入端接收第2个上采样层的输出端输出的所有特征图，第14个卷积层的输出端输出64幅特征图；第2个联接层的输入端接收第14个卷积层的输出端输出的所有特征图和第6个卷积层的输出端输出的所有特征图，第2个联接层的输出端输出128幅特征图；第15个卷积层的输入端接收第2个联接层的输出端输出的所有特征图，第15个卷积层的输出端输出64幅特征图；第16个卷积层的输入端接收第15个卷积层的输出端输出的所有特征图，第16个卷积层的输出端输出64幅特征图；第3个上采样层的输入端接收第16个卷积层的输出端输出的所有特征图，第3个上采样层的输出端输出64幅特征图；第17个卷积层的输入端接收第3个上采样层的输出端输出的所有特征图，第17个卷积层的输出端输出32幅特征图；第3个联接层的输入端接收第17个卷积层的输出端输出的所有特征图和第4个卷积层的输出端输出的所有特征图，第3个联接层的输出端输出64幅特征图；第18个卷积层的输入端接收第3个联接层的输出端输出的所有特征图，第18个卷积层的输出端输出32幅特征图；第19个卷积层的输入端接收第18个卷积层的输出端输出的所有特征图，第19个卷积层的输出端输出32幅特征图；第4个上采样层的输入端接收第19个卷积层的输出端输出的所有特征图，第4个上采样层的输出端输出32幅特征图；第20个卷积层的输入端接收第4个上采样层的输出端输出的所有特征图，第20个卷积层的输出端输出16幅特征图；第4个联接层的输入端接收第20个卷积层的输出端输出的所有特征图和第2个卷积层的输出端输出的所有特征图，第4个联接层的输出端输出32幅特征图；第21个卷积层的输入端接收第4个联接层的输出端输出的所有特征图，第21个卷积层的输出端输出...

【专利技术属性】
技术研发人员：周武杰，张爽爽，何成，王海江，邱薇薇，陈芳妮，张宇来，楼宋江，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33