基于通道特征和卷积神经网络的屏幕图像质量评价方法技术

本发明专利技术公开了一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其提取出待评价的失真屏幕图像的十个通道特征图，并获取各自的归一化图像；按相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及十个通道特征图的归一化图像进行训练，得到最优的权值矢量和偏置项，进而构造得到卷积神经网络回归训练模型，根据卷积神经网络回归训练模型对待评价的失真屏幕图像对应的归一化图像进行测试，得到待评价的失真屏幕图像的客观质量评价预测值；优点是能充分考虑到屏幕图像多种特性对视觉质量的影响，从而能提高客观评价结果与主观感知之间的相关性。

Quality evaluation method of screen image based on channel feature and convolution neural network

The invention discloses a method for screen image quality evaluation channel characteristics and convolutional neural network based on the extracted ten channel feature map distortion screen image to be evaluated, and obtain the normalized image respectively; in the same way to obtain each training set of ten channels of the normalized image distortion feature map screen image the use of normalized convolution neural network image on the training set all their subjective scores of screen image distortion value and ten channel feature map for training, get the optimal weight vector and the bias term, and construct the regression model training convolutional neural network, are tested according to the normalized image distortion screen image and the corresponding regression training model treat the convolutional neural network evaluation, obtain the objective quality assessment of distortion screen image to evaluate the predictive value of; The advantage is that it can take full account of the influence of the various features of the screen image on the visual quality, so as to improve the correlation between the objective evaluation and the subjective perception.

【技术实现步骤摘要】
基于通道特征和卷积神经网络的屏幕图像质量评价方法
本专利技术涉及一种无参考图像质量评价方法，尤其是涉及一种基于通道特征和卷积神经网络的屏幕图像质量评价方法。
技术介绍
随着图像处理行业的快速发展，图像质量评价已成为越来越重要的组成部分，人们对图像质量的要求也日益增高。由于图像的采集、存储、传输和显示等过程中，往往会有不同程度的失真，如图像模糊、视频终端图像失真、系统中图像质量不达标等，因此，建立有效的图像质量评价机制非常重要，如在图像去噪、图像融合等处理过程中可用于各种算法的性能比较、参数选择；在图像编码与通信领域可用于指导整个图像的传输过程并评估系统性能；在视频监控领域可用于检测视频画面的质量，及时发现并调整视频监控质量。图像质量评价方法大体可以划分为两类，即主观评价方法和客观评价方法。主观评价方法是通过人眼直接判定图像的质量，受主观意识的操控；其评价结果的特点是：图像的舒适度越高，得到的评分结果就越高；其是一种相对比较可靠的评价方法，但是费时费力。客观评价方法是由机器根据一定算法得出的图像质量指标，其主要分为三种评价方法，即全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方法，但是由于多数应用中无法获得相应的原始图像，因此无参考图像质量评价方法的研究更具实用价值。无参考图像质量评价方法可分为特定失真评价方法和通用评价方法两种，特定失真评价方法只能对某种特定失真类型的图像进行评价，例如JPEG、JPEG2K及Gblur失真等，无法对其它失真类型的图像及多种处理技术处理后的图像进行质量评价；通用评价方法可以同时对多种失真类型的图像进行质量评价。现有的通用无参考图像质量评价方法主要针对一般的图像，而针对特殊图像(例如，屏幕图像)的研究相对较少，由于屏幕图像含有文字、图形和图像等内容，因此对屏幕图像采用通用无参考图像质量评价方法进行质量评价更具有挑战性。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其能够充分考虑到屏幕图像多种特性对视觉质量的影响，从而能够提高客观评价结果与主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于包括以下步骤：步骤一：令{Id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤W，1≤j≤H，W表示{Id(i,j)}的宽度，H表示{Id(i,j)}的高度，Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值；步骤二：利用集总特征通道方法对{Id(i,j)}进行特征提取，得到{Id(i,j)}的十个通道特征图，分别为L通道特征图、U通道特征图、V通道特征图、梯度幅值通道特征图、第1个方向梯度直方图通道特征图、第2个方向梯度直方图通道特征图、第3个方向梯度直方图通道特征图、第4个方向梯度直方图通道特征图、第5个方向梯度直方图通道特征图、第6个方向梯度直方图通道特征图，对应记为{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}，其中，1≤m≤M，1≤n≤N，符号为向下取整操作符号，M表示{Id(i,j)}的每个通道特征图的宽度，N表示{Id(i,j)}的每个通道特征图的高度，Ld(m,n)表示{Ld(m,n)}中坐标位置为(m,n)的像素点的像素值，Ud(m,n)表示{Ud(m,n)}中坐标位置为(m,n)的像素点的像素值，Vd(m,n)表示{Vd(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,0(m,n)表示{Gd,0(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,1(m,n)表示{Gd,1(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,2(m,n)表示{Gd,2(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,3(m,n)表示{Gd,3(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,4(m,n)表示{Gd,4(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,5(m,n)表示{Gd,5(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,6(m,n)表示{Gd,6(m,n)}中坐标位置为(m,n)的像素点的像素值；步骤三：获取{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}各自的归一化图像，对应记为其中，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤四：采用P幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，训练集包括多幅失真屏幕图像；然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分值，将训练集中的第j幅失真屏幕图像的主观评分值记为DMOSj；并按照步骤一至步骤三的操作，以相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，将训练集中的第j幅失真屏幕图像的十个通道特征图各自的归一化图像对应记为其中，P>1，1≤j≤K'，K'表示训练集中包含的失真屏幕图像的总幅数，0≤DMOSj≤100，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤五：利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及各自的十个通道特征图的归一化图像进行训练，使得经过训练得到的回归函数值与主观评分值之间的误差最小，拟合得到最优的权值矢量Wopt和最优的偏置项bopt；接着利用Wopt构造得到卷积神经网络回归训练模型；再根据卷积神经网络回归训练模型，对进行测试，预测得到{Id(i,j)}的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示为Wopt的转置矢量，为x的卷积函数。所述的步骤三的具体过程为：求得{Ld(m,n)}的局部平均值图像，记本文档来自技高网...

【技术保护点】
一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于包括以下步骤：步骤一：令{Id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤W，1≤j≤H，W表示{Id(i,j)}的宽度，H表示{Id(i,j)}的高度，Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值；步骤二：利用集总特征通道方法对{Id(i,j)}进行特征提取，得到{Id(i,j)}的十个通道特征图，分别为L通道特征图、U通道特征图、V通道特征图、梯度幅值通道特征图、第1个方向梯度直方图通道特征图、第2个方向梯度直方图通道特征图、第3个方向梯度直方图通道特征图、第4个方向梯度直方图通道特征图、第5个方向梯度直方图通道特征图、第6个方向梯度直方图通道特征图，对应记为{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}，其中，1≤m≤M，1≤n≤N，

【技术特征摘要】
1.一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于包括以下步骤：步骤一：令{Id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤W，1≤j≤H，W表示{Id(i,j)}的宽度，H表示{Id(i,j)}的高度，Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值；步骤二：利用集总特征通道方法对{Id(i,j)}进行特征提取，得到{Id(i,j)}的十个通道特征图，分别为L通道特征图、U通道特征图、V通道特征图、梯度幅值通道特征图、第1个方向梯度直方图通道特征图、第2个方向梯度直方图通道特征图、第3个方向梯度直方图通道特征图、第4个方向梯度直方图通道特征图、第5个方向梯度直方图通道特征图、第6个方向梯度直方图通道特征图，对应记为{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}，其中，1≤m≤M，1≤n≤N，符号为向下取整操作符号，M表示{Id(i,j)}的每个通道特征图的宽度，N表示{Id(i,j)}的每个通道特征图的高度，Ld(m,n)表示{Ld(m,n)}中坐标位置为(m,n)的像素点的像素值，Ud(m,n)表示{Ud(m,n)}中坐标位置为(m,n)的像素点的像素值，Vd(m,n)表示{Vd(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,0(m,n)表示{Gd,0(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,1(m,n)表示{Gd,1(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,2(m,n)表示{Gd,2(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,3(m,n)表示{Gd,3(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,4(m,n)表示{Gd,4(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,5(m,n)表示{Gd,5(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,6(m,n)表示{Gd,6(m,n)}中坐标位置为(m,n)的像素点的像素值；步骤三：获取{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}各自的归一化图像，对应记为其中，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤四：采用P幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，训练集包括多幅失真屏幕图像；然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分值，将训练集中的第j幅失真屏幕图像的主观评分值记为DMOSj；并按照步骤一至步骤三的操作，以相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，将训练集中的第j幅失真屏幕图像的十个通道特征图各自的归一化图像对应记为其中，P>1，1≤j≤K'，K'表示训练集中包含的失真屏幕图像的总幅数，0≤DMOSj≤100，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤五：利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及各自的十个通道特征图的归一化图像进行训练，使得经过训练得到的回归函数值与主观评分值之间的误差最小，拟合得到最优的权值矢量Wopt和最优的偏置项bopt；接着利用Wopt构造得到卷积神经网络回归训练模型；再根据卷积神经网络回归训练模型，对进行测试，预测得到{Id(i,j)}的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示为Wopt的转置矢量，为x的卷积函数。2.根据权利要求1所述的基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于所述的步骤三的具体过程为：求得{Ld(m,n)}的局部平均值图像，记为{μ1(m,n)}；并求得{Ld(m,n)}的局部方差图像，记为{σ1(m,n)}；然后根...

【专利技术属性】
技术研发人员：周武杰，张爽爽，郑飘飘，邱薇薇，周扬，赵颖，何成，葛丁飞，金国英，陈寿法，郑卫红，李鑫，吴洁雯，王昕峰，施祥，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33