基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法技术

本发明专利技术属于3D立体显示技术领域，具体公开了一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，其实现步骤：1)提取图像的彩色显著图和视差显著图；2)彩色显著图归一化处理，将归一化值作为权值乘以视差显著图，得到显著自适应视差图；3)利用阈值分割提取显著不舒适区域；4)提取视差特征，基于SVR估计视觉舒适度，计算VC值进行可视化操作；5)显著自适应视差图的非线性映射处理；6)利用DIBR技术，映射后的视差图和原右视图作输入合成虚拟图像。本发明专利技术预测的视觉舒适度比主观评价得到的有较高相关性，既减小了过度视差，又保持了图像的显著信息，从而提高立体图像的视觉舒适度，可广泛用于3D立体显示。

【技术实现步骤摘要】

本专利技术属于3D立体显示
，涉及一种视觉舒适预测及增强的方法，可用于对舒适度要求较高的立体显示中，具体是一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法。
技术介绍
随着3D立体显示技术的飞速发展，人们可以身临其境地体验3D带来的视觉上与感知上的双重冲击。但是在立体观看过程中存在一些至关重要的问题，如：视觉不舒适，视觉疲劳等。为了立体显示技术的广泛使用，给观看者创造一个舒适安全的观看环境显得很有必要。引起视觉不舒适的因素有很多，包括过度视差、左右图像的不匹配、深度信息的冲突等。而过度视差由于我们的双眼很难融合，因而最容易引起视觉不舒适。传统的视觉舒适度可客观评价方法主要是基于全局的视差统计特征来预测视觉舒适度，如整幅视差图像的均值、方差、分布范围等特征。然而，根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，如果以全局的视差统计特征来预测视觉重要区域的视觉舒适程度，会导致无法精确预测得到的客观评价值。Sohn H、Jung Y J和Lee S等人在IEEE Transactions on Broadcasting上名为“Predicting visual discomfort using object size and disparity information in stereoscopic images”的论文中提出了一种相对视差和前景对象尺寸的立体图像视觉舒适度客观评价方法，该方法首先利用mean-shift分割方法对视差图进行分割，有效地提取出对象的轮廓，然后计算到邻近对象间的相对视差和前景对象的尺寸，并将其作为舒适度感知特征，最后结合传统的 全局视差统计特征，可以较大程度地提高视觉舒适预测的准确性。然而，该方法没有考虑空间频率特征对人眼深度感知的影响，也没有考虑立体视觉显著区域对视觉舒适评价的影响。2013年在名为“一种立体图像视觉舒适度评价方法”的NO.CN103581661A专利中提出了一种立体图像视觉舒适度评价方法，该方法首先通过提取右视点图像的显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值。该方法的优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。然而，获得的立体显著图是线性叠加了图像显著图和深度显著图，这种传统的线性叠加方法不仅弱化了图像的显著信息，并且会引入一些本来不显著的区域，较大程度地改变了原始图像的视差范围。在此基础上得到的提取的视差特征矢量，不能较好地表征原图像的舒适度范围，不能够准确地预测图像的舒适度。传统的用于改善视觉不舒适的方法主要是通过调整视差，调整的方法主要分为两大类：一个是视差缩放；另一个是视差平移。Holliman N在SPIE上名为“Mapping perceived depth to regions of interest in stereoscopic images”的论文中提出了通过视差缩放来调整视差，该方法是通过缩放原图像的视差范围到一个相对舒适的目标区域，进而减少3D立体显示中的视觉不舒适。这种方法的缺点是，经过缩放后的图像尺寸会 相应的减小，如果采用简单的线性差值可以扩充到原图像的大小，但是图像的整体质量会下降。Xu D、Coria L E和Nasiopoulos P等人在IEEE International Conference on Consumer Electronics上名为“Quality of experience for the horizontal pixel parallax adjustment of stereoscopic 3D videos”的论文中提出了视差平移方法，是通过水平平移左右视点的图像来调整视差，可以保持原图像的视差范围。这种方法由于较低的算法复杂度被广泛应用。然而，当原图像的视差范围超过了确定的视觉舒适区，用这种方法减少视觉不舒适的效果将会不明显。
技术实现思路
本专利技术的目的是克服上述现有技术的不足，提出一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，同时考虑图像的显著信息和深度视差信息，在不影响图像整体质量的情况下，预测并提高图像的视觉舒适度。本专利技术的技术方案是：基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，包括如下步骤：(1)显著估计： 1a)读入一个2D彩色图像的左视点图像Il，利用GBVS显著图提取方法得到对应的彩色显著图SI；1b)读入一副2D彩色图像的左视点图像Il和右视点图像Ir，利用DERS估计方法得到对应的视差显著图SD；(2)合成显著自适应视差图：2a)先对SI进行归一化处理，将其像素值转化成[0,1]范围内的双精度值，用以表明其显著性；如果某点像素值越接近0，表明该点越不显著；如 果某点像素值越接近1，表明该点越显著；归一化公式如下：Et(x,y)=SI(x,y)255,]]>其中SI(x,y)表示在(x,y)像素点处的显著值；2b)将Wt作为权值，乘到视差显著图SD上，得到合成的显著自适应视差图Sad，即：Sad(x,y)＝Wt(x,y)*SD(x,y)；(3)选取显著自适应视差图Sad中的前6％-10％的视差值，作为阈值分割的阈值Tr，得到视觉不舒适区域SDR：Seg(SDR)=1ifSad>Tr;0otherwise.;]]>(4)预测视觉不舒适的程度：4a)提取两个视差特征，一个是基于显著权值的视差特征DMSD；另一个是最大视差特征Dm；4b)形成视差特征向量D，视差特征向量D由视差特征DMSD和视差特征Dm组成：D＝[DMSD,Dm]；4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数为：其中α和α*是拉格朗日乘子；K(Di,D)是非线性变换输入特征的核函数，这里采用径向基函数RBF： 其中γ表示核函数的变化；(5)视觉舒适的增强：在显著自适应视差图Sad中，存在着四种类型的像素:不显著舒适像素、显著舒适像素、不显著不舒适像素和显著不舒适像素；先确定像素的所属类型，再根据非线性映射公式：Dnm(x,y)＝20*lg(Sad(x,y))，对显著自适应视差图Sad进行压缩处理；(6)合成虚拟图像：利用深度图像绘制技术DIBR，将处理过的视差图Dnm和原右视点图像作为输入，合成虚拟图像。上述步骤(4a)中的视差特征的提取，具体按如下步骤进行：(2a1)基于得到的显著不舒适区域SDR，首先统计该区域中的像素个数N；(2a2)接着计算该视觉不舒适区域SDR像素本文档来自技高网...

【技术保护点】
基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，其特征在于，包括如下步骤：(1)显著估计：1a)读入一个2D彩色图像的左视点图像Il，利用GBVS显著图提取方法得到对应的彩色显著图SI；1b)读入一副2D彩色图像的左视点图像Il和右视点图像Ir，利用DERS估计方法得到对应的视差显著图SD；(2)合成显著自适应视差图：2a)先对SI进行归一化处理，将其像素值转化成[0,1]范围内的双精度值，用以表明其显著性；如果某点像素值越接近0，表明该点越不显著；如果某点像素值越接近1，表明该点越显著；归一化公式如下：Wt(x,y)=SI(x,y)255,]]>其中SI(x,y)表示在(x,y)像素点处的显著值；2b)将Wt作为权值，乘到视差显著图SD上，得到合成的显著自适应视差图Sad，即：Sad(x,y)＝Wt(x,y)*SD(x,y)；(3)选取显著自适应视差图Sad中的前6％‑10％的视差值，作为阈值分割的阈值Tr，得到视觉不舒适区域SDR：Seg(SDR)=1ifSad>Tr;0otherwise.;]]>(4)预测视觉不舒适的程度：4a)提取两个视差特征，一个是基于显著权值的视差特征DMSD；另一个是最大视差特征Dm；4b)形成视差特征向量D，视差特征向量D由视差特征DMSD和视差特征Dm组成：D＝[DMSD,Dm]；4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数为：其中α和α*是拉格朗日乘子；K(Di,D)是非线性变换输入特征的核函数，这里采用径向基函数RBF：其中γ表示核函数的变化；(5)视觉舒适的增强：在显著自适应视差图Sad中，存在着四种类型的像素:不显著舒适像素、显著舒适像素、不显著不舒适像素和显著不舒适像素；先确定像素的所属类型，再根据非线性映射公式：Dnm(x,y)＝20*lg(Sad(x,y))，对显著自适应视差图Sad进行压缩处理；(6)合成虚拟图像：利用深度图像绘制技术DIBR，将处理过的视差图Dnm和原右视点图像作为输入，合成虚拟图像。...

【技术特征摘要】
1.基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，
其特征在于，包括如下步骤：
(1)显著估计：
1a)读入一个2D彩色图像的左视点图像Il，利用GBVS显著图提取方法
得到对应的彩色显著图SI；
1b)读入一副2D彩色图像的左视点图像Il和右视点图像Ir，利用DERS
估计方法得到对应的视差显著图SD；
(2)合成显著自适应视差图：
2a)先对SI进行归一化处理，将其像素值转化成[0,1]范围内的双精度
值，用以表明其显著性；如果某点像素值越接近0，表明该点越不显著；如
果某点像素值越接近1，表明该点越显著；归一化公式如下：
Wt(x,y)=SI(x,y)255,]]>其中SI(x,y)表示在(x,y)像素点处的显著值；
2b)将Wt作为权值，乘到视差显著图SD上，得到合成的显著自适应视差
图Sad，即：
Sad(x,y)＝Wt(x,y)*SD(x,y)；
(3)选取显著自适应视差图Sad中的前6％-10％的视差值，作为阈值
分割的阈值Tr，得到视觉不舒适区域SDR：Seg(SDR)=1ifSad>Tr;0otherwise.;]]>(4)预测视觉不舒适的程度：
4a)提取两个视差特征，一个是基于显著权值的视差特征DMSD；另一个是
最大视差特征Dm；
4b)形成视差特征向量D，视差特征向量D由视差特征DMSD和视差特征

\tDm组成：D＝[DMSD,Dm]；
4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数
为：其中α和α*是拉...

【专利技术属性】
技术研发人员：郑喆坤，刘红民，王帅，崔玉，金重圭，尹仁龙，权炳贤，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61