一种3D-JND阈值计算方法技术

本发明专利技术公开了一种3D-JND阈值计算方法，同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D-JND建模。本发明专利技术因为同时考虑了多层次立体选择注意机制及双目立体视觉的双目抑制效应两个因素进行3D-JND建模，因而相比较于传统的3D-JND模型更符合人眼的立体视觉系统。本发明专利技术提出的计算方法，不但可以容纳更多的噪声，而且具有更好的视觉质量。该模型可以用于3D图像/视频的感知编码，以去除图像/视频中的视觉冗余。

【技术实现步骤摘要】
一种3D-JND阈值计算方法
本专利技术属于立体图像/视频编码
，涉及立体感知失真建模技术。
技术介绍
传统的图像/视频编码技术主要针对去除空域和时域统计冗余进行压缩编码，较少考虑图像/视频中的视觉冗余。为了进一步提高编码效率，研究人员开始了致力于去除视觉冗余的研究。目前一个表征视觉冗余的有效方法就是恰可察觉失真模型(Justnoticeabledifference,JND)。传统的二维JND模型(2D-JND)主要考虑亮度掩盖效应、对比度掩盖效应、多通道分解机制等视觉特性，如文献1的NAMM模型(X.Yang，W.Lin,Z.Lu,E.P.Ong,andS.Yao,“Just-noticeable-distortionprofilewithnonlinearadditivitymodelforperceptualmaskingcolorimages”,IEEETrans.CircuitsSyst.VideoTechnol.,vol.15,no.6,pp742-752,Jun.2005)。随着立体图像/视频应用的日益普及，三维JND模型(3D-JND)受到了越来越多的关注。立体图像/视频除了能够提供观看者三维场景的彩色信息，还提供了三维场景的空间立体深度信息，因此在3D-JND建模的过程中不仅仅要考虑2D-JND建模的主要因素，更要考虑人眼视觉系统立体深度感知相关的特性。经典的3D-JND模型通过研究人眼视觉系统由于双目抑制效应引起的左右眼亮度自适应和对比度掩盖等效应的不同，建立非对称的双目JND模型。如文献2的JJND模型(X.Li,Y.Wang,etal.“Jointjustnoticeabledifferencemodelbasedondepthperceptionforstereoscopicimages”,inProc.IEEEVisualCommunicationsandImageProcessing(VCIP),2011:1-4.)。该模型基于深度信息重点考虑了人眼对左右视图中重叠区域的敏感度，但该模型并没有考虑人眼的立体视觉注意特性。由于视觉注意研究的发展，近年来，研究人员开始在JND建模的过程中考虑人眼视觉注意机制对JND阈值的影响。如文献3(D.Zhang,L.Gao,D.Zang,andY.Sun,“AJNDProfileBasedonHierarchicallySelectiveAttentionforImages”,inProc.2013IEEEInternationalSymposiumonMultimedia(ISM),IEEE,2013:263-266.)在2D-JND建模过程中，基于二维层次选择性注意模型和纹理的掩蔽效应模型建立了多层次的调制函数，对传统的2D-JND阈值进行调制，从而建立更加精确的2D-JND模型。由于该模型在视觉注意建模过程中并没有考虑立体深度这一重要信息，因而此模型不能直接用于3D-JND建模。文献4(R.Zhong,R.Hu,etal.“Justnoticeabledifferencefor3Dimageswithdepthsaliency”,inProc.AdvancesinMultimediaInformationProcessing–PCM2012.SpringerBerlinHeidelberg,2012:414-423.)在传统2D-JND模型NAMM的基础上融合深度显著建立了3D-JND模型。但该模型仅利用了立体图像的深度信息建立显著度模型，没有考虑彩色等二维特征对立体显著度建模的影响。而且该模型没有考虑双目立体视觉中的另一重要特性，即双目抑制效应，因而该模型精度有待进一步提高。
技术实现思路
本专利技术的目的在于提供一种3D-JND阈值计算方法，尤其是基于多层次立体选择注意及双目抑制效应的3D-JND阈值计算方法。为达到上述目的，本专利技术的解决方案是：首先考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次选择性视觉注意机制，构建了基于颜色、亮度以及深度特征的四元数，通过在不同分辨率下对所构建的四元数进行基于相位谱的四元傅里叶变换(PQFT)，建立多层次立体选择注意模型，并基于此模型构建多层次的显著区域调制函数，分别对立体图像主视图和辅视图的2D-JND阈值进行调制；然后进一步考虑双目抑制效应，针对辅视图中的遮挡和非遮挡区域建立分区域调制函数，对辅视图的JND阈值进行进一步调制，从而建立更符合双目立体视觉特性的非对称的3D-JND模型。进一步，采用以下步骤：步骤S1：对原始的左视和右视图像分别使用传统2D-JND模型获取左、右视图的JND基础阈值。步骤S2：根据输入图像的大小设置用于多层次选择特性建模的层次值L；步骤S3：考虑多层次立体选择注意机制，构建左右视图不同层次显著度计算所需要的彩色图像和深度图像，将原始左右视角彩色图像和其所对应的深度图像分别下采样到不同的分辨率，即原始图像分辨率的(1/2)0～L-1倍大小。不同层次下采样前的深度图像获取过程如下：在第k(k＝1～L)层时，图像分辨率为原始分辨率的(1/2)k-1倍大小，其对应的深度值为原始分辨率所对应的实际深度值的k倍，即dk(x,y)＝dorg(x,y)*k，其中，dk(x,y)为第k层(x,y)点处的深度值，dorg(x,y)为原始分辨率下的(x,y)点处的实际深度值，将dk(x,y)按如下公式进行映射变换，得到第K层下采样前的深度图。其中，步骤S4：构建基于亮度、颜色以及深度特征的四元数，将颜色特征RG、BY及亮度特征I作为虚部，深度特征D作为实部，构造的四元数如下式所示：(x,y)＝D(x,y)+RG(x,y)μ1+BY(x,y)μ2+I(x,y)μ3其中，D(x,y)为深度图在(x,y)点处的值，RG(x,y)、BY(x,y)、I(x,y)分别是点(x,y)处的红绿颜色特征值、蓝黄颜色特征值及亮度特征值，虚部单位满足μ2⊥μ3,μ1⊥μ3,μ3＝μ1μ2,μ1⊥μ2步骤S5：在不同层次下，对所构建的四元数进行PQFT变换，以获取左右视角不同层次的显著图，并将左右视角不同分辨率下的显著图上采样到原始图像分辨率大小。步骤S6：使用大津法将每个层次的显著图分割为显著区域和非显著区域，再将所有分割后的显著图依照层次越小越重要的方式从大到小进行嵌套，得到多层次的显著分割图。步骤S7：建立多层次显著区域调制函数，对步骤S1得到的左右视图的基础JND阈值进行调制。调制函数公式如下：Fhs(x,y)＝1+(1-S(x,y))*α*uk其中，S(x,y)为基于步骤S6的多层次显著分割图对所有层次的显著图嵌套后的多层次显著图在(x,y)处的值；α为调制常数；uk是基于多层次显著分割图的第k层的自适应调制因子，定义如下：步骤S8：考虑双目抑制效应，选择左右视角中一个作为辅视，基于辅视角的深度图及摄像机相关参数计算其对应视差图，并在此基础上对辅视图进行遮挡区域(occlusionregions)和非遮挡区域(non-occlusionregions)检测，得相应的分割图，计算公式如下：其中，Yl′(x,y)是左视角的灰度图根据左视差图偏移得到的在(x,y)处的像素本文档来自技高网...

【技术保护点】
一种3D‑JND阈值计算方法，其特征在于：同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D‑JND建模。

【技术特征摘要】
1.一种3D-JND阈值计算方法，其特征在于：同时考虑人眼视觉系统在观看立体场景过程中遵循由远及近、由粗到细的多层次立体选择注意机制，以及双目立体视觉的双目抑制效应这两个因素进行3D-JND建模；包括：步骤S1：对原始的左视和右视图像分别使用传统2D-JND模型获取左、右视图的JND基础阈值；步骤S2：根据输入图像的大小设置用于多层次选择特性建模的层次值L；步骤S3：考虑多层次立体选择注意机制，构建左右视图不同层次显著度计算所需要的彩色图像和深度图像，将原始左右视角彩色图像和其所对应的深度图像分别下采样到不同的分辨率，即原始图像分辨率的(1/2)0～L-1倍大小；步骤S4：构建基于亮度、颜色以及深度特征的四元数，将颜色特征RG、BY及亮度特征I作为虚部，深度特征D作为实部，构造的四元数如下式所示：q(x,y)＝D(x,y)+RG(x,y)μ1+BY(x,y)μ2+I(x,y)μ3其中，D(x,y)为深度图在(x,y)点处的值，RG(x,y)、BY(x,y)、I(x,y)分别是点(x,y)处的红绿颜色特征值、蓝黄颜色特征值及亮度特征值，虚部单位满足μ2⊥μ3,μ1⊥μ3,μ3＝μ1μ2,μ1⊥μ2；步骤S5：在不同层次下，对所构建的四元数进行PQFT变换，以获取左右视角不同层次的显著图，并将左右视角不同分辨率下的显著图上采样到原始图像分辨率大小；步骤S6：使用大津法将每个层次的显著图分割为显著区域和非显著区域，再将所有分割后的显著图依照层次越小越重要的方式从大到小进行嵌套，得到多层次的显著分割图；步骤S7：建立多层次显著区域调制函数，对步骤S1得到的左右视图的基础JND阈值进行调制；步骤S8：考虑双目抑制效应，选择左右视角中一个作为辅视，基于辅视角的深度图及摄像机相关参数计算其对应视差图，并在此基础上对辅视图进行遮挡区域和非遮挡区域检测，得相应的分割图；步骤S9：针对步骤S8中辅视图的遮挡和非遮挡区域建立调制函数；遮挡区域使用低于1的调制因子以保证质量，对非遮挡区域建立依赖于深度值的调制函数；并对步骤S7得到的辅视JND阈值进一步进行分区域调制。2.根据权利要求1所述的方法，其特征在于：考虑多层次选择性视觉注意机制：构建基于颜色、亮度以及深度特征的四元数，通过在不同分辨率下对所构建的四元数进行基于相位谱的四元傅里叶变换，建立多层次立体选择注意模型，并基于此模型构建多层次的显著区...

【专利技术属性】
技术研发人员：张冬冬，陈勇，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31