基于初级视觉感知机制的无参考立体图像质量评价方法技术

本发明专利技术提出了一种基于初级视觉感知机制的无参考立体图像质量评价方法，属于图像分析技术领域。本方法首先将输入立体图像对转化为灰度信息，利用灰度信息模拟初级视觉感知机制下基于信道分离的单目感知响应和反馈聚合优化的双目感知响应。其次，分别利用得到的单目和双目感知响应模拟初级视觉皮层中经典与非经典接受场响应，并对生成的两类接受场响应图像提取结构算子LBP的概率统计特征向量。然后，利用支持向量机对特征进行训练，得到预测模型，应用预测模型和测试集对应的特征向量进行质量预测和评估。本方法具有主观一致性高，数据库独立性高，稳定性高的特点，在处理多种复杂失真类型时都表现出了极具竞争力的效果，具有很强的应用价值。

No reference stereo image quality assessment method based on primary visual perception mechanism

The invention provides a reference-free stereoscopic image quality evaluation method based on primary visual perception mechanism, which belongs to the field of image analysis technology. Firstly, the input stereo image pairs are transformed into gray information, which is used to simulate the monocular perception response based on channel separation and the binocular perception response optimized by feedback aggregation. Secondly, the monocular and binocular perceptual responses are used to simulate the classical and non-classical acceptance field responses in the primary visual cortex, and the probability statistical eigenvectors of the structure operator LBP are extracted from the two types of acceptance field response images. Then, support vector machine (SVM) is used to train the features, and the prediction model is obtained. The prediction model and the feature vectors corresponding to the test set are used to predict and evaluate the quality. This method has the characteristics of high subjective consistency, high database independence and high stability. It has shown a very competitive effect in dealing with a variety of complex distortion types and has a very strong application value.

【技术实现步骤摘要】
基于初级视觉感知机制的无参考立体图像质量评价方法
本专利技术涉及一种立体图像质量评价方法，特别涉及一种基于初级视觉感知机制的无参考立体图像质量评价方法，属于图像分析领域。
技术介绍
近些年来，随着科学技术的发展，立体图像产生和传播的成本变得越来越低，这使得立体图像作为一种优秀的信息传播的媒介，在我们的日常生活中变得越来越普遍，越来越不可缺少。然而，立体图像在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映的各个阶段都会不可避免的引入失真，例如，在场景采集过程中由于设备参数设定、镜头晃动等因素引起的模糊失真；图像压缩存储引起的压缩失真等等。而失真的引入则会大大降低人们的视觉体验，严重的还会影响到人们的身心健康。如何遏制低质量立体图像的传播，保证人们的视觉体验，成为了一个亟待解决的问题。使立体图像产生和传播的媒体具有自动评价图像质量高低的能力，从而改善媒体输出端图像的质量，对于解决这个问题具有重要意义。具体来说，本研究具有以下应用价值：(1)可以嵌入实际的应用系统(比如视频的放映系统、网络传输系统等)中，实时的监控图像/视频的质量；(2)可以用于评价各种立体图像/视频处理算法、工具(比如立体图像的压缩编码、图像/视频采集工具等)的优劣；(3)可以用于立体图像/视频作品的质量审核，防止劣质图像制品危害观众的身心健康。综上所述，对于客观无参考立体图像质量评价模型的研究具有重要的理论价值和现实意义。本专利技术提出了一种基于初级视觉感知机制的无参考立体图像质量评价方法，其参考的已有理论和技术为Kruger等人提出的初级视觉皮层感知理论以及LBP概率统计特征提取方法。(一)初级视觉皮层感知理论Kruger等人提出了初级视觉皮层感知理论，有关初级视觉皮层感知理论的研究首先要考虑人眼视网膜的感知现象。双眼感知到外界信息后，视网膜上感知到的光信号被视觉神经捕获，转化为神经脉冲信号。视网膜上的神经细胞按照自己的感知模式，可以分为on-center/off-surround和off-center/on-surround(即ON/OFF)通道细胞，其具有不同的中心环绕感知模式，并且对不同的光信号敏感。在经过了视觉信号在ON/OFF通道细胞上的转换后，包含视觉信息的信号经由外膝体(LGN层)被送至初级视觉皮层。V1层中的细胞可以被划分为单目和双目感知细胞，并且具有不同的接受场感知模式。在V1层中，经典与非经典接受场能够有效地表示视觉细胞对视觉信息的响应。因此，经过V1层处理后，单目和双目感知细胞的两类接受场响应在对视觉信息感知的过程中具有相同的重要程度。(二)LBP概率统计特征提取考虑到初级视觉皮层对结构信息的感知和处理模式与视觉内容的感知质量密切相关，利用结构描述算子LBP提取接受场响应图像的概率统计特征作为视觉感知特征。LBP概率统计特征的提取方法如下，以左视图单目感知响应图像为例：其中，HLBP(t)表示左视图单目感知响应图像图像的概率统计特征，p(·)代表实际像素值与对左视图单目感知响应图像应用LBP算子生成的特征图像ILBP(x,y)中每个像素的可能值t之间的对应关系，X和Y分别代表图像的宽度和高度，a,b＝-1,0,1,，j代表8-邻域像素的序号，T(·)代表衡量中心点和邻域值的关系的阈值函数，(x′,y′)代表坐标(x,y)处的邻域点。
技术实现思路
本专利技术的目的是为了解决无参考立体图像质量评价中人眼视觉感知机制模拟方法不够完善，对图像中视觉感知信息的利用不充分，主观一致性差，数据库独立性差，算法稳定性差等问题，提出一种基于初级视觉感知机制的无参考立体图像质量评价方法。本专利技术方法是通过以下技术方案实现的。基于初级视觉感知机制的无参考立体图像质量评价方法，其具体步骤如下：步骤一、将输入的待测试立体图像对转化为灰度信息；立体图像对为RGB三个颜色通道的信息集合，采用RGB颜色空间变换，将三通道信息转化为单通道的灰度信息。步骤二、基于ON/OFF通道细胞感知机制，应用信道分离处理方法对左右视图灰度信息做进一步的处理，得到左右视图的单目感知响应图像；步骤三、对灰度信息应用匹配算法得到模拟视差图，利用左右视图灰度信息和模拟视差图校正合成单眼图像；步骤四、对单眼图像进行信道分离和反馈聚合优化，得到单眼图像的双目感知响应图像；步骤五、基于初级视觉感知机制中的接受场效应，分别利用得到的单目和双目感知响应模拟初级视觉皮层中经典与非经典接受场响应图像，并对生成的两类接受场响应图像提取结构算子LBP的概率统计特征向量；步骤六、采用步骤一、步骤二、步骤三、步骤四和步骤五的方法对数据库中的每一幅彩色立体图像对进行处理，计算得到每一组立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数；进而利用现有的算法性能指标(SRCC、PLCC、KRCC等)对算法的优劣进行评估。有益效果本专利技术提出的基于初级视觉感知机制的无参考立体图像质量评价方法，与已有技术相比具有主观一致性高，数据库独立性高，算法稳定性高等特点；可以与立体图像/视频处理相关应用系统协同使用，具有很强的应用价值。附图说明图1是本专利技术的基于初级视觉感知机制的无参考立体图像质量评价方法的流程图；图2是本专利技术以及其他立体图像质量评价方法在LIVEPhaseII数据库上进行测试的盒形图。具体实施方式下面结合附图和具体实施例对本专利技术方法的实施方式做详细的说明。实施例本方法的流程如图1所示，具体实施过程为：步骤一、将输入的待测试立体图像对转化为灰度信息；步骤二、基于ON/OFF通道细胞感知机制，应用信道分离处理方法对左右视图灰度信息做进一步的处理，得到左右视图的单目感知响应图像；单目感知响应图像通过左、右视图灰度信息的ON/OFF信道分离处理方法得到。单目感知响应图像的计算方法如下：其中，ML-ON和ML-OFF分别表示左视图的ON通道和OFF通道单目感知响应图像，MR-ON和MR-OFF分别表示右视图的ON通道和OFF通道单目感知响应图像，IL(i)代表左视图灰度图，IR(i)代表右视图灰度图，i＝(x,y)表示空间坐标位置，代表线性卷积操作运算符,gON和gOFF分别代表ON和OFF信道分离处理操作的滤波器，它们的表示如下：其中，σON/OFF代表ON或OFF通道下的卷积函数的尺度参数，左右视图的单目感知响应图像都将用于后续的经典与非经典接受场响应图像的生成。步骤三、对灰度信息应用匹配算法得到模拟视差图，利用左右视图灰度信息和模拟视差图校正合成单眼图像；模拟视差图通过左、右视图灰度信息的结构相似度匹配得到。单眼图像的计算方法如下：其中，CI代表合成的单眼图像，ε[IL(i)]和ε[IR(i+d)]分别代表立体图像对左视图和经过视差校正的右视图的灰度图的信息熵，d代表在位置i处的视差，α代表一个常量来确保加权过程的稳定性，z是像素值，Z表示像素值的取值范围，这里取0至255，p(·)是像素分布概率函数。步骤四、对单眼图像进行信道分离和反馈聚合优化，得到单眼图像的双目感知响应图像；双目感知响应图像的计算方法如下：BCI-ON＝(1+E)·CION-(1-E)·CIOFF(12)BCI-OFF＝(1+E)·CI本文档来自技高网...

【技术保护点】
1.基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于，包括以下步骤：步骤一、将输入的待测试立体图像对转化为灰度信息；步骤二、对左右视图灰度信息做进一步处理，得到左右视图的单目感知响应图像；步骤三、通过左、右视图灰度信息的结构相似度匹配得到模拟视差图，利用左右视图灰度信息和模拟视差图校正合成单眼图像；步骤四、对单眼图像进行信道分离和反馈聚合优化，得到单眼图像的双目感知响应图像；步骤五、基于初级视觉感知机制中的接受场效应，分别利用得到的单目和双目感知响应模拟初级视觉皮层中经典与非经典接受场响应图像，并对生成的两类接受场响应图像提取结构算子LBP的概率统计特征向量；步骤六、采用步骤一、步骤二、步骤三、步骤四和步骤五的方法对数据库中的每一幅彩色立体图像对进行处理，计算得到每一组立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数，利用现有的算法性能指标对算法的优劣进行评估。

【技术特征摘要】
1.基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于，包括以下步骤：步骤一、将输入的待测试立体图像对转化为灰度信息；步骤二、对左右视图灰度信息做进一步处理，得到左右视图的单目感知响应图像；步骤三、通过左、右视图灰度信息的结构相似度匹配得到模拟视差图，利用左右视图灰度信息和模拟视差图校正合成单眼图像；步骤四、对单眼图像进行信道分离和反馈聚合优化，得到单眼图像的双目感知响应图像；步骤五、基于初级视觉感知机制中的接受场效应，分别利用得到的单目和双目感知响应模拟初级视觉皮层中经典与非经典接受场响应图像，并对生成的两类接受场响应图像提取结构算子LBP的概率统计特征向量；步骤六、采用步骤一、步骤二、步骤三、步骤四和步骤五的方法对数据库中的每一幅彩色立体图像对进行处理，计算得到每一组立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数，利用现有的算法性能指标对算法的优劣进行评估。2.如权利要求1所述的基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于：所述步骤一中，立体图像对为RGB三个颜色通道的信息集合，采用RGB颜色空间变换，将三通道信息转化为单通道的灰度信息。3.如权利要求1所述的基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于：所述步骤二中，单目感知响应图像通过左、右视图灰度信息的ON/OFF信道分离处理方法得到。4.如权利要求3所述的基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于：利用对左、右视图灰度信息的ON/OFF信道分离处理方法获得单目感知响应图像的计算过程如下：其中，ML-ON和ML-OFF分别表示左视图的ON通道和OFF通道单目感知响应图像，MR-ON和MR-OFF分别表示右视图的ON通道和OFF通道单目感知响应图像，IL(i)代表左视图灰度图，IR(i)代表右视图灰度图，i＝(x,y)表示空间坐标位置，代表线性卷积操作运算符，gON和gOFF分别代表ON和OFF信道分离处理操作的滤波器，表示如下：其中，σON/OFF代表ON或OFF通道下的卷积函数的尺度参数。5.如权利要求1所述的基于初级视觉感知机制的无参考立体图像质量评价方法，其特征在于：所述步骤三中，合成单眼图像的计算方法如下：其中，CI代表合成的单眼图像，ε[IL(i)]和ε[IR(i+d)]分别代表立体图像对左视图和经过视差校正的右视图的灰度图的信息熵，d代表在位置i处的视差，α代表一个常量来确保加权过程的稳定性，z是像素值，Z表示像素值的取值范围，p(·)是像素分布概率函数。6.如权利要求1所述的基于初级视觉感...

【专利技术属性】
技术研发人员：刘利雄，张久发，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11