基于多尺度空间理论和非显著区域图的立体图像舒适度评价制造技术

本发明专利技术涉及一种基于多尺度空间理论和非显著区域图的立体图像舒适度评价方法，设失真图像对为(Dl,Dr)，包括以下步骤：1)计算Dr的2D显著图SSal；2)分别得到与原始图像尺寸相同的视差图D和原始图像1/4尺寸的下采样视差图D1/4两个视差图；3)对于两个视差图，分别提取视差统计特征将这两组特征向量与主观平均分数MOS值放入两个SVM回归训练网络中；使用两个支持向量机分别线性回归训练提取的两组视差统计特征，进行迭代训练，最终得到舒适度质量分数。

Comfort evaluation of stereo images based on multi-scale spatial theory and non salient region diagram

The present invention relates to a stereo image comfort evaluation method based on multi-scale space theory and non-salient region map. The method assumes that the distorted image pair is (Dl, Dr) and comprises the following steps: 1) calculating the 2D salient image SSal of Dr; 2) obtaining two disparity maps D of the same size as the original image and D1/4 of the downsampled disparity map D1/4 of the original image, respectively. 3) For the two disparity maps, the disparity statistical features are extracted and the two feature vectors and the subjective mean fraction MOS values are put into the two SVM regression training networks, and the two disparity statistical features extracted by the linear regression training of the two support vector machines are used for iterative training, and finally the comfort quality score is obtained. Number.

【技术实现步骤摘要】
基于多尺度空间理论和非显著区域图的立体图像舒适度评价
本专利技术属数字图像处理领域，涉及立体图像舒适度评价方法。
技术介绍
随着立体显示技术的高速发展，3D图像/视频广泛应用于生活的各个领域并且提供给人类一个全新的图像/视频体验方式。相比传统的2D图像/视频，立体视觉显示提供了深度信息而且提高了场景的真实感和现实沉浸感。然而，立体显示却是一个严重的问题：很多人观看立体图像/视频时都会有不舒适感。因此有关观看立体图像/视频的安全和健康的问题亟待解决。所以立体视觉的视觉舒适度一直是立体视觉研究的一大挑战。术语“视觉不适”通常用来指与立体图像有关的不适的主观感觉。影响视觉舒适度的几个因素包括聚散调节冲突，正负视差分布，双目不匹配，深度不一致性、感知不一致性等。人们普遍认为，过度的双眼水平视差和非自然的聚散调节冲突是导致视觉不适的最主要因素。当前立体图像舒适度评价主要分为二类。一类是基于视差统计特性的视觉舒适度评价方法。二类是受人眼视觉注意机制的启发，在传统舒适度评价方法的整体性能上考虑这种重要的人类视觉属性特性。
技术实现思路
本专利技术的目的是提供一种更优秀和具有更稳定实验结果的立体图像舒适度评价方法，技术方案如下：一种基于多尺度空间理论和非显著区域图的立体图像舒适度评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(Dl,Dr)，包括以下步骤：1)使用扩张假说AH算法计算Dr的2D显著图SSal。2)使用深度估计参考算法DERS算法计算出视差图，此算法得到的视差图是原始图像尺寸的1/4，为下采样视差图D1/4，然后从下采样视差图D1/4重新得到与原始图像尺寸一样的视差图D。至此，分别得到了与原始图像尺寸相同的视差图D和原始图像1/4尺寸的下采样视差图D1/4两个视差图；3)对于视差图D做如下的处理：A.计算视差图的均值和方差，得到视差图的特征[f1,f2]；B.将2D显著图SSal与视差图D进行线性加权得到3D显著图S3D，计算出视差梯度特征，得到3D显著图特征f3；C.根据3D显著图S3D得到3D非显著图S3DNS；D.由上一步得到的3D显著图S3D和3D非显著图S3DNS分别计算出3D非显著加权视差图NSD和3D显著加权绝对视差图NSAD；E.根据3D非显著加权视差图NSD和3D显著加权绝对视差图NSAD，分别计算它们的视差均值作为特征[f4,f5]；F.提取视差图D的5个视差统计特征:fD＝|f1,f2,f3,f4,f5|4)对下采样视差图D1/4按照同样的步骤提取5个视差统计特征:FD1/4＝[f1,f2,f3,f4,f5]；5)将这两组特征向量与主观平均分数MOS值放入两个SVM回归训练网络中。最终的质量分数根据以下公式来计算：Score1是SVM1训练得到的分数，Score2是SVM2训练得到的分数，α是质量分数的权重。6)使用两个支持向量机分别线性回归训练提取的两组视差统计特征，进行1000次迭代训练，最终得到舒适度质量分数。考虑到图像的显著区域与最大视差区域存在不一致而导致人眼产生不适感，本专利技术通过3D非显著图像去评估这种情况下产生的视觉舒适度，接着提取3D显著图的视差统计特性去构建视觉舒适度评价模型。本算法在公认的IVY和NBU图像库上进行了测试，对比于之前的视觉舒适度评价算法，取得了更优秀和更稳定的实验结果。附图说明图1流程图图2池化阶段框图表1IVY库上面的对比实验结果表2NBU库上面的对比实验结果表1IVY库上面的对比实验结果表2NBU库上面的对比实验结果具体实施方式本专利技术涉及3D非显著图、3D显著加权视差图和3D非显著加权视差图的形成。通过提取相关视差值的特征去描述图像舒适度的方法。本专利技术涉及3D非显著图、3D显著加权视差图和3D非显著加权视差图的形成。通过提取相关视差值的特征去描述图像舒适度的方法。本专利技术对传统立体图像舒适度评价方法主要做了三点创新性改进。一是仅仅利用图像显著区域内的特征信息来评价人眼对立体图像的不适感是不够的。在此基础上，本专利技术生成了一个立体非显著图和立体非显著加权视差图，因为当图像中的显著区域与最大视差区域不重合时，这些图像很容易产生不舒适感。这种现象经常发生在立体图像/视频中。二是以前的方法仅仅从原来的左、右图像生成对应大小的视差图，本专利技术使用与原图像大小相同的视差图和下采样1/4后的视差图，运用了多尺度空间理论。三是因为考虑到两种尺度图像对舒适度预测的影响，在池化步骤本专利技术使用了两个支持向量机回归模型得到最终舒适度分数。具体技术方案如下：基于多尺度空间和非显著区域图的立体图像舒适度评价，每个失真立体图像对由左图和右图组成，设失真图像对为(Dl,Dr)，包括以下步骤：第一步：使用AH(AugmentedHypotheses扩张假说)方法去计算Dr的2D显著图SSal(由于Dl与Dr显著图差别不大，所以考虑一方的显著图即可)。第二步：使用DERS(DepthEstimationReferenceSoftware深度估计参考软件)算法计算视差，得到视差图，然后对视差图进行1/4下采样，得到下采样视差图D1/4，然后从视差图D1/4重新得到与原始图像尺寸一样的视差图D。在第二步中，我们分别得到了与原始图像相同和1/4尺寸的两个视差图。根据视差图D计算视差值的均值和方差。视差图的特征[f1,f2]计算公式如下：第三步：将2D显著图SSal与视差图D进行线性加权得到3D显著图S3D，计算公式如下。S3D＝ωDD+ωSSSal(3)根据3D显著图计算出视差梯度特征，3D显著图特征f3按下述公式计算：在此公式中，si,j代表3D显著图S3D的(i，j)位置的显著值，|Δdi,j|代表绝对差分视差值。第四步:根据3D显著图S3D得到3D非显著图S3DNS，计算公式如下。S3DNS＝1-S3D＝1-(ωDD+ωsSSal)(5)第五步：由上一步得到的3D显著图S3D和3D非显著图S3DNS分别计出加权视差图后的3D非显著加权视差图NSD和3D显著加权绝对视差图NSAD，计算公式分别如下。NSD＝SNDN＝sndn(8)NASD＝SN|D|＝Sn|di,j|(9)M和N分别是图像的宽度和高度，i＝1,2,...,M；j＝1,2,...,N.sn代表3D非显著图S3DNS的(i，j)位置的非显著值，di,j代表(i，j)位置的视差值，DN是D归一化后的值，考虑到2D显著图SSal上的显著值范围是从0到1，所以DN上的视差值范围也归一化到[0,1]。根据3D非显著加权视差图NSD和的3D显著加权绝对视差图NSAD，分别计算它们的视差均值作为特征[f4,f5]，计算公式分别如下：snsd代表在3D非显著加权视差图NSD(i，j)位置上的值，sn代表3D非显著图S3DNS上(i，j)位置上的非显著值，|Δdi,j|代表视差图D上的绝对差分视差值，且第六步：提取3D显著图S3D和3D非显著图S3DNS的视差统计特性。本专利技术从下采样视差图D1/4与视差图D分别提取5个特征，FD1/4＝[f1,f2,f3,f4,f5]，fD＝|f1,f2,f3,f4,f5|。将这两组特征向量与主观平均分数MOS值放入两个SVM回归训练网络中。最终的质量分数根据以下公式来计算：Score1是S本文档来自技高网...

【技术保护点】
1.一种基于多尺度空间理论和非显著区域图的立体图像舒适度评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(Dl,Dr)，包括以下步骤：1)使用扩张假说AH算法计算Dr的2D显著图SSal；2)使用深度估计参考算法DERS算法计算出视差图，此算法得到的视差图是原始图像尺寸的1/4，为下采样视差图D1/4，然后从下采样视差图D1/4重新得到与原始图像尺寸一样的视差图D；至此，分别得到了与原始图像尺寸相同的视差图D和原始图像1/4尺寸的下采样视差图D1/4两个视差图。3)对于视差图D做如下的处理：A.计算视差图的均值和方差，得到视差图的特征[f1,f2]；B.将2D显著图SSal与视差图D进行线性加权得到3D显著图S3D，计算出视差梯度特征，得到3D显著图特征f3；C.根据3D显著图S3D得到3D非显著图S3DNS；D.由上一步得到的3D显著图S3D和3D非显著图S3DNS分别计算出3D非显著加权视差图NSD和3D显著加权绝对视差图NSAD；E.根据3D非显著加权视差图NSD和3D显著加权绝对视差图NSAD，分别计算它们的视差均值作为特征[f4,f5]；F.提取视差图D的5个视差统计特征:fD＝|f1,f2,f3,f4,f5|4)对下采样视差图D1/4按照同样的步骤提取5个视差统计特征:FD1/4＝[f1,f2,f3,f4,f5]；5)将这两组特征向量与主观平均分数MOS值放入两个SVM回归训练网络中；最终的质量分数根据以下公式来计算：...

【技术特征摘要】
1.一种基于多尺度空间理论和非显著区域图的立体图像舒适度评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(Dl,Dr)，包括以下步骤：1)使用扩张假说AH算法计算Dr的2D显著图SSal；2)使用深度估计参考算法DERS算法计算出视差图，此算法得到的视差图是原始图像尺寸的1/4，为下采样视差图D1/4，然后从下采样视差图D1/4重新得到与原始图像尺寸一样的视差图D；至此，分别得到了与原始图像尺寸相同的视差图D和原始图像1/4尺寸的下采样视差图D1/4两个视差图。3)对于视差图D做如下的处理：A.计算视差图的均值和方差，得到视差图的特征[f1,f2]；B.将2D显著图SSal与视差图D进行线性加权得到3D显著图S3D，计算出视差梯度特征，得到3D显著图特征f3；C.根据3D显著图S3D得到3D非显著图S3DNS；D...

【专利技术属性】
技术研发人员：杨嘉琛，刘佳成，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12