基于深度神经网络的无参考立体图像质量评价方法技术

本发明专利技术公开了一种基于深度神经网络的无参考立体图像质量评价方法，其采用水平视差补偿技术对失真立体图像的右视点图像进行水平视差补偿，得到水平视差补偿后的图像，再采用双目空间活动模型，结合失真立体图像的左视点图像和水平视差补偿后的图像，获得失真立体图像的合成中央眼活动图像，该合成中央眼活动图像能够很好地模拟双目显著性感知特性；其在充分利用了双目视觉感知特性的基础上，提取梯度幅值和高斯拉普拉斯特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性；其采用符合人脑机理特性的深度神经网络预测得到失真立体图像的客观质量评价预测值，使客观评价值能更加准确预测失真立体图像的质量。

No reference stereo image quality assessment method based on deep neural network

The invention discloses a method for evaluating the quality of non-reference stereoscopic image based on depth neural network. The method adopts horizontal disparity compensation technology to compensate the right-view image of distorted stereoscopic image, obtains the image after horizontal disparity compensation, and then adopts a binocular spatial activity model combined with the left of distorted stereoscopic image. The viewpoint image and the horizontal disparity compensated image are used to obtain the synthetic central eye motion image of distorted stereo image. The synthetic central eye motion image can well simulate the binocular saliency perception characteristics. On the basis of fully utilizing the binocular visual perception characteristics, the gradient amplitude and the Gauss-Laplace feature information are extracted. Therefore, the correlation between objective evaluation results and subjective perception can be effectively improved, and the predictive value of objective quality evaluation of distorted stereo images can be obtained by depth neural network prediction which is in accordance with the characteristics of human brain mechanism, so that the objective evaluation value can more accurately predict the quality of distorted stereo images.

【技术实现步骤摘要】
基于深度神经网络的无参考立体图像质量评价方法
本专利技术涉及一种图像质量评价方法，尤其是涉及一种基于深度神经网络的无参考立体图像质量评价方法。
技术介绍
近几年来，随着计算机科学技术的快速发展，立体可视化吸引了越来越多人的兴趣，计算机图形学的应用在各个行业都得到了快速发展。随着计算机图像、计算机视觉、多媒体及其他相关技术的发展融合，新的视觉多媒体也得到了快速发展，给人们带来了不同于传统二维图像/视频的全新视觉体验。在数字信息大爆炸的今天，立体技术不断成熟，立体产品也不断丰富着人们的生活。越来越多的立体电影占据了荧幕，使人们能更加生动形象地感受到画面，视频电话、3D游戏、手机、电视也越来越多的运用立体技术获得更好的视觉体验。除此之外，立体图像/视频技术还广泛应用于医疗、农业、智能生活、教育、军事等领域。然而，常见的立体图像处理技术包括立体图像/视频的采集、编码、传输、显示和评价等，这一系列的过程会不可避免的引入失真，影响立体图像/视频的立体感及观看舒适度，并有可能带给人们错误的认知，这也严重制约着立体产品的推广及普及。对于立体图像而言，非常需要建立一套可靠有效的质量评价机制，对立体图像显示效果进行准确的评判。因此，立体图像质量评价技术作为促进立体图像/视频技术发展的重要技术，已经成为立体图像处理
的研究热点之一。现有的无参考质量评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的无参考立体图像质量评价方法还是无参考平面图像质量评价方法的简单扩展，并没有考虑双目视觉特性，也没有充分学习特征数据的能力，因此，如何在评价过程中有效地提取特征信息，并有效地学习特征信息，在评价过程中进行双目视觉特性结合，并使用有效的特征学习模型，使得客观评价结果更加符合人类视觉感知系统，是对立体图像进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于深度神经网络的无参考立体图像质量评价方法，其能够充分考虑到立体图像的多种特性对视觉质量的影响，从而能够提高客观评价结果与双目主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用水平视差补偿技术，对{Rdis(x,y)}进行水平视差补偿，得到{Rdis(x,y)}水平视差补偿后的图像，记为{R′dis(x,y)}；然后采用双目空间活动模型，结合{Ldis(x,y)}和{R′dis(x,y)}，得到Sdis的合成中央眼活动图像，记为{Mdis(x,y)}；其中，R′dis(x,y)表示{R′dis(x,y)}中坐标位置为(x,y)的像素点的像素值，Mdis(x,y)表示{Mdis(x,y)}中坐标位置为(x,y)的像素点的像素值；采用双目产物图提取技术，对{Ldis(x,y)}和{Rdis(x,y)}进行双目产物图提取，得到Sdis的双目产物图像，记为{Pdis(x,y)}；其中，Pdis(x,y)表示{Pdis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用梯度幅值特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行梯度幅值特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的梯度幅值特征图像，对应记为{Gdis，1(x,y)}、{Gdis，2(x,y)}、{Gdis，3(x,y)}、{Gdis，4(x,y)}；并采用高斯拉普拉斯特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行高斯拉普拉斯特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{Odis，1(x,y)}、{Odis，2(x,y)}、{Odis，3(x,y)}、{Odis，4(x,y)}；其中，Gdis，1(x,y)表示{Gdis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，2(x,y)表示{Gdis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，3(x,y)表示{Gdis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，4(x,y)表示{Gdis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，1(x,y)表示{Odis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，2(x,y)表示{Odis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，3(x,y)表示{Odis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，4(x,y)表示{Odis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；④采用联合自适应归一化方法，对{Gdis，1(x,y)}和{Odis，1(x,y)}进行联合自适应归一化处理，得到{Gdis，1(x,y)}和{Odis，1(x,y)}各自的归一化特征图像，对应记为{G′dis，1(x,y)}和{O′dis，1(x,y)}；同样，对{Gdis，2(x,y)}和{Odis，2(x,y)}进行联合自适应归一化处理，得到{Gdis，2(x,y)}和{Odis，2(x,y)}各自的归一化特征图像，对应记为{G′dis，2(x,y)}和{O′dis，2(x,y)}；对{Gdis，3(x,y)}和{Odis，3(x,y)}进行联合自适应归一化处理，得到{Gdis，3(x,y)}和{Odis，3(x,y)}各自的归一化特征图像，对应记为{G′dis，3(x,y)}和{O′dis，3(x,y)}；对{Gdis，4(x,y)}和{Odis，4(x,y)}进行联合自适应归一化处理，得到{Gdis，4(x,y)}和{Odis，4(x,y)}各自的归一化特征图像，对应记为{G′dis，4(x,y)}和{O′dis，4(x,y)}；其中，G′dis，1(x,y)表示{G′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，1(x,y)表示{O′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，2(x,y)表示{G′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，2(x,y)表示{O′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，3(x,y)表示{G′dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，3(x,y)表示{O′dis，3(x,y)}中坐标位置本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用水平视差补偿技术，对{Rdis(x,y)}进行水平视差补偿，得到{Rdis(x,y)}水平视差补偿后的图像，记为{R′dis(x,y)}；然后采用双目空间活动模型，结合{Ldis(x,y)}和{R′dis(x,y)}，得到Sdis的合成中央眼活动图像，记为{Mdis(x,y)}；其中，R′dis(x,y)表示{R′dis(x,y)}中坐标位置为(x,y)的像素点的像素值，Mdis(x,y)表示{Mdis(x,y)}中坐标位置为(x,y)的像素点的像素值；采用双目产物图提取技术，对{Ldis(x,y)}和{Rdis(x,y)}进行双目产物图提取，得到Sdis的双目产物图像，记为{Pdis(x,y)}；其中，Pdis(x,y)表示{Pdis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用梯度幅值特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行梯度幅值特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的梯度幅值特征图像，对应记为{Gdis，1(x,y)}、{Gdis，2(x,y)}、{Gdis，3(x,y)}、{Gdis，4(x,y)}；并采用高斯拉普拉斯特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行高斯拉普拉斯特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{Odis，1(x,y)}、{Odis，2(x,y)}、{Odis，3(x,y)}、{Odis，4(x,y)}；其中，Gdis，1(x,y)表示{Gdis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，2(x,y)表示{Gdis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，3(x,y)表示{Gdis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，4(x,y)表示{Gdis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，1(x,y)表示{Odis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，2(x,y)表示{Odis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，3(x,y)表示{Odis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，4(x,y)表示{Odis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；④采用联合自适应归一化方法，对{Gdis，1(x,y)}和{Odis，1(x,y)}进行联合自适应归一化处理，得到{Gdis，1(x,y)}和{Odis，1(x,y)}各自的归一化特征图像，对应记为{G′dis，1(x,y)}和{O′dis，1(x,y)}；同样，对{Gdis，2(x,y)}和{Odis，2(x,y)}进行联合自适应归一化处理，得到{Gdis，2(x,y)}和{Odis，2(x,y)}各自的归一化特征图像，对应记为{G′dis，2(x,y)}和{O′dis，2(x,y)}；对{Gdis，3(x,y)}和{Odis，3(x,y)}进行联合自适应归一化处理，得到{Gdis，3(x,y)}和{Odis，3(x,y)}各自的归一化特征图像，对应记为{G′dis，3(x,y)}和{O′dis，3(x,y)}；对{Gdis，4(x,y)}和{Odis，4(x,y)}进行联合自适应归一化处理，得到{Gdis，4(x,y)}和{Odis，4(x,y)}各自的归一化特征图像，对应记为{G′dis，4(x,y)}和{O′dis，4(x,y)}；其中，G′dis，1(x,y)表示{G′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，1(x,y)表示{O′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，2(x,y)表示{G′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，2(x,y)表示{O′dis，2(...

【技术特征摘要】
1.一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用水平视差补偿技术，对{Rdis(x,y)}进行水平视差补偿，得到{Rdis(x,y)}水平视差补偿后的图像，记为{R′dis(x,y)}；然后采用双目空间活动模型，结合{Ldis(x,y)}和{R′dis(x,y)}，得到Sdis的合成中央眼活动图像，记为{Mdis(x,y)}；其中，R′dis(x,y)表示{R′dis(x,y)}中坐标位置为(x,y)的像素点的像素值，Mdis(x,y)表示{Mdis(x,y)}中坐标位置为(x,y)的像素点的像素值；采用双目产物图提取技术，对{Ldis(x,y)}和{Rdis(x,y)}进行双目产物图提取，得到Sdis的双目产物图像，记为{Pdis(x,y)}；其中，Pdis(x,y)表示{Pdis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用梯度幅值特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行梯度幅值特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的梯度幅值特征图像，对应记为{Gdis，1(x,y)}、{Gdis，2(x,y)}、{Gdis，3(x,y)}、{Gdis，4(x,y)}；并采用高斯拉普拉斯特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行高斯拉普拉斯特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{Odis，1(x,y)}、{Odis，2(x,y)}、{Odis，3(x,y)}、{Odis，4(x,y)}；其中，Gdis，1(x,y)表示{Gdis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，2(x,y)表示{Gdis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，3(x,y)表示{Gdis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，4(x,y)表示{Gdis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，1(x,y)表示{Odis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，2(x,y)表示{Odis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，3(x,y)表示{Odis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，4(x,y)表示{Odis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；④采用联合自适应归一化方法，对{Gdis，1(x,y)}和{Odis，1(x,y)}进行联合自适应归一化处理，得到{Gdis，1(x,y)}和{Odis，1(x,y)}各自的归一化特征图像，对应记为{G′dis，1(x,y)}和{O′dis，1(x,y)}；同样，对{Gdis，2(x,y)}和{Odis，2(x,y)}进行联合自适应归一化处理，得到{Gdis，2(x,y)}和{Odis，2(x,y)}各自的归一化特征图像，对应记为{G′dis，2(x,y)}和{O′dis，2(x,y)}；对{Gdis，3(x,y)}和{Odis，3(x,y)}进行联合自适应归一化处理，得到{Gdis，3(x,y)}和{Odis，3(x,y)}各自的归一化特征图像，对应记为{G′dis，3(x,y)}和{O′dis，3(x,y)}；对{Gdis，4(x,y)}和{Odis，4(x,y)}进行联合自适应归一化处理，得到{Gdis，4(x,y)}和{Odis，4(x,y)}各自的归一化特征图像，对应记为{G′dis，4(x,y)}和{O′dis，4(x,y)}；其中，G′dis，1(x,y)表示{G′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，1(x,y)表示{O′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，2(x,y)表示{G′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，2(x,y)表示{O′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，3(x,y)表示{G′dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，3(x,y)表示{O′dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，4(x,y)表示{G′dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，4(x,y)表示{O′dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤采用量化方法，分别对{G′dis，1(x,y)}和{O′dis，1(x,y)}、{G′dis，2(x,y)}和{O′dis，2(x,y)}、{G′dis，3(x,y)}和{O′dis，3(x,y)}、{G′dis，4(x,y)}和{O′dis，4(x,y)}进行量化处理，对应得到{G′dis，1(x,y)}和{O′dis，1(x,y)}、{G′dis，2(x,y)}和{O′dis，2(x,y)}、{G′dis，3(x,y)}和{O′dis，3(x,y)}、{G′dis，4(x,y)}和{O′dis，4(x,y)}各自的量化特征图像，对应记为{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}、{G′dis,qun，2(x,y)}和{O′dis,qun，2(x,y)}、{G′dis,qun，3(x,y)}和{O′dis,qun，3(x,y)}、{G′dis,qun，4(x,y)}和{O′dis,qun，4(x,y)}；其中，G′dis,qun,1(x,y)表示{G′dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun,1(x,y)表示{O′dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，2(x,y)表示{G′dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，2(x,y)表示{O′dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，3(x,y)表示{G′dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，3(x,y)表示{O′dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，4(x,y)表示{G′dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，4(x,y)表示{O′dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥采用边缘概率求取方法，联合{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}进行边缘概率求取，得到{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}各自的边缘概率特征向量，对应记为G′dis,qun,mar,1和O′dis,qun,mar,1；并采用独立分布求取方法，联合{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}进行独立分布求取，得到{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}各自的独立分布特征向量，对应记为G′dis,qun,dep,1和O′dis,qun,dep,1；其中，G′dis,qun,mar,1和O′dis,qun,mar,1的维数均为1×m′维，G′dis,qun,dep,1和O′dis,qun,dep,1的维数均为1×m′维，m′表示边缘概率特征向量和独立分布特征向量的维数，m′>1；采用边缘概率求取方法，联合{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y)}进行边缘概率求取，得到{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y...

【专利技术属性】
技术研发人员：周武杰，张爽爽，师磊磊，郑飘飘，潘婷，顾鹏笠，蔡星宇，胡慧敏，吕思嘉，袁建中，陈昱臻，金国英，王建芬，王新华，孙丽慧，吴洁雯，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33