一种基于多列卷积神经网络的无参3D图像质量评估方法技术

本发明专利技术公开了一种基于多列卷积神经网络的无参3D图像质量评估方法。该方法分为块训练和全局训练两部分。块训练部分，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射为一个3D图像主观质量值。本发明专利技术方法在LIVE Phase I和LIVE Phase II通用3D图像数据库上进行试验，都具有较高的鲁棒性和准确性。

A Parametric-free 3D Image Quality Assessment Method Based on Multi-column Convolutional Neural Network

The invention discloses a parametric 3D image quality evaluation method based on multi-column convolution neural network. The method is divided into two parts: block training and global training. In block training, the left and right viewpoints are divided into blocks of the same size, and SSIM of each block is calculated. These blocks with SSIM tags are trained by a deep learning network based on cascaded multi-column convolution neural network. In the global training part, the left and right view blocks are predicted by the previous part of the network to get the SSIM values, and these SSIM values are arranged into a column vector. Finally, several fully connected networks are used to map the eigenvectors to a subjective quality value of a 3D image. The method of the invention has high robustness and accuracy when tested on the general 3D image database of LIVE Phase I and LIVE Phase II.

【技术实现步骤摘要】
一种基于多列卷积神经网络的无参3D图像质量评估方法
本专利技术涉及一种3D图像质量评估方法，特别是涉及一种基于多列卷积神经网络的无参3D图像质量评估方法，属于图像处理、传输

技术介绍
图像是人类获取信息最直观的方式，随着信息化浪潮的发展，设备的不断推陈出新，我们已经进入了一个智能高清的视觉时代。3D图像带给用户沉浸式体验，具有逼真的感觉，其运用在3D电影上已经取得巨大成功。3D图像在给人们带来新颖的视觉体验的同时，对设备以及传输技术都带来了巨大挑战。3D图像一般具有高清或超高清的画质，这样的画质会产生大量的数据，这对设备的要求就大大提高，并且在网络中进行传输时需要占用大量带宽。3D图像压缩技术能对其进行压缩、编码以减小带宽的占用，但是压缩技术会产生一定不可避免的失真。在网络传输时，因特网协议采用的是尽力而为的服务原则，在遇到网络堵塞时会进行丢包，丢包对压缩后的数据流影响很大，如果丢失了参考帧，视频将无法解码。3D图像的采集过程也会受采集设备的影响，如曝光、抖动等。显示设备也会出现颜色、对比度、色调等的失真。因此，亟需一种对3D图像的质量进行评估的方法来对3D图像质量进行反馈，从而对其质量进行调整。根据对原始3D图像的参考程度，可以将3D图像质量评估方法分为全参考、半参考和无参考。全参考质量评估方法(Full-reference，FR)是通过比较参考3D图像和测试3D图像之间的差别得到测试3D图像的质量。该方法需要获取完整的原始参考3D图像，并且通常是没有被压缩和损坏的3D图像，因此对实际运用来说是一个巨大的限制。无参考质量评估方法(No-reference，NR)在评估时只能得到测试3D图像而无法得到参考3D图像。该方法只是通过对接收到的测试3D图像进行分析和处理提取到3D图像的某些失真信息，如方块效应、模糊等，然后根据这些失真的特征信息来评估测试3D图像的质量。半参考质量评估方法(Reducedreference，RR)是介于FR方法和NR方法的一种方法。现有的3D图像质量评估模型直接将2D图像质量评价方法运用到左右视点图像得到相应的质量分数，然后对这两部分的质量分数进行加权得到3D图像的质量。传统的2D图像质量评估已不能简单地运用在3D图像的质量评估上，需要将人类视觉系统的双目特性应用在评估模型中，如双目融合、双目竞争、双目抑制以及深度感知等。考虑到双目视差的影响，现有的一些3D图像质量评估算法将视差图或者深度图作为评价立体图像质量的指标。中央眼模型也需要借助视差图的计算。不论是视差图的计算需要耗费大量的时间，还是随着失真情况的加深视差图越来越不准确，这些情况都使得视差图/深度图在质量评估算法中的使用不太合理。因此，需要研究一种反应视差变化且计算复杂度低的算法。随着深度学习的蓬勃发展，其被应用到计算机视觉、图像分割、目标识别、图像检索等领域。深度学习在图像质量评价中的应用也越来越深入，Kang等人[1]提出了一个基于卷积神经网络(convolutionalneuralnetwork，CNN)的无参考图像质量评估模型，并且取得了和全参考质量评价算法一样的效果，可见深度学习可以大大提高无参考质量评估算法的准确性。并且基于深度学习的质量评估算法不需要预处理失真图像，也不需要人工预先提取特征，这是完全不需要先验信息却能保证精确度的方法。
技术实现思路
本专利技术的目的是为了对3D图像进行质量监控和评估，提出了一种基于多列卷积神经网络的无参3D图像质量评估方法。该方法分为块训练和全局训练两部分。块训练部分，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射为一个3D图像主观质量值。为达到上述目的，本专利技术采用如下技术方案：一种基于多列卷积神经网络的无参3D图像质量评估方法，包括如下步骤：步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用几个全连接网络将特征向量映射为一个3D图像主观质量值；步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值。本专利技术方法主要是考虑到3D图像的多尺度特性，因此借助于多列卷积神经网络模型，能有效地提取3D图像中的多尺度特征，并将这些多尺度特征进行融合。由于3D图像的训练库样本较少，本专利技术方法首先训练一个基于图像块的SSIM评估模型，然后利用这个模型得到3D图像的左右视点的质量特征向量，最后通过几个全连接网络将这个质量特征向量回归到我们需要预测得到的主观质量分数。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：1、本专利技术方法充分考虑了3D图像的多尺度特点，即3D图像中物体存在尺度不同的情况。提出了一种基于多列卷积神经网络的无参3D图像质量评估模型。2、本专利技术方法通过首先训练一个基于块的SSIM评估模型，解决了3D图像训练样本较少的问题。3、本专利技术方法利用提取得到的多尺度特征去预测3D图像块的SSIM值，而不是直接从3D图像去预测主观质量分数，降低了模型的训练难度，提高了无参3D图像评估的性能。附图说明图1为本专利技术基于多列卷积神经网络的无参3D图像质量评估方法的网络结构框图。具体实施方式本专利技术的优选实施例结合附图详述如下：本实施例的多列卷积神经网络结构如图1所示。在Ubuntu16.04，PyTorch环境下编程仿真实现本方法。首先，根据深度学习算法设计多列卷积神经网络模型。该方法分为块训练和全局训练两部分。块训练部分提取局部特征，将左右视点分别划分为相同大小的块，计算每块的SSIM，将这些带有SSIM标签的块用基于级联的多列卷积神经网络的深度学习网络进行训练。全局训练部分，将左右视点的块用上一部分的网络预测得到SSIM值，将这些SSIM值排列成一个列向量。最后，用几个全连接网络将特征向量映射到一个MOS值。本方法具体包括如下步骤：步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用几个全连接网络将特征向量映射为一个3D图像主观质量值；步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值。本实施例在所述步骤1中，本文档来自技高网...

【技术保护点】
1.一种基于多列卷积神经网络的无参3D图像质量评估方法，其特征在于，包括如下步骤：步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得到一个评估图像块SSIM值的模型；步骤3、全局训练：根据步骤2得到的模型，评估得到左右视点的图像块的SSIM值，将这些SSIM值排列成一个列向量，用几个全连接网络将特征向量映射为一个3D图像主观质量值；步骤4、无参3D图像质量评估：在上述步骤2和3训练得到的图像块评估模型和主观质量评估模型通过输入的3D图像来预测对应的主观质量值。

【技术特征摘要】
1.一种基于多列卷积神经网络的无参3D图像质量评估方法，其特征在于，包括如下步骤：步骤1、训练集建立：在训练集上把原始3D图像切成小块，并对这些小块分别计算一个SSIM值作为标签，由此构建块训练的训练集；步骤2、多列卷积神经网络的块训练：在步骤1得到的训练集上训练图像块的SSIM评估模型，优化算法使用随机梯度下降算法，训练完成后得...

【专利技术属性】
技术研发人员：王永芳，帅源，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31