基于纹理复杂度的立体图像人眼恰可察觉失真分析方法技术

本发明专利技术公开了一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其从纹理复杂度角度出发，分析非对称立体图像编码时右视点图像的质量相对于左视点图像的质量可以下降的最大量化参数编码范围，通过大量主观实验，在以左视点图像质量固定不变的情况下，测定人眼可感知立体图像变化右视点图像质量的临界值，通过线性拟合得到右视点图像的最大可容忍量化参数阈值与纹理复杂度和编码量化参数之间的定量的数学模型关系，使得既能通过降低右视点图像质量来达到提高编码压缩效率的目的，同时又利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，从而保证了立体图像的整体质量。

Method for analyzing human eyes' perceived distortion based on texture complexity

The invention discloses a stereo image based on texture of human complexity just noticeable distortion analysis method, from the perspective of texture complexity, analysis of asymmetric stereoscopic image encoding quality right view image relative to the maximum quantization parameter quality left viewpoint image can decrease the encoding range, through a large number of subjective experiments, fixed in the left view image quality under the condition of critical value determination of perceptual stereo image changes of right view image quality, get the right view the maximum tolerable quantitative texture between the threshold and the quantization parameter encoding complexity and the quantitative parameters of the mathematical model by linear fitting, which can not only reduce the image quality through the right view to to improve the encoding efficiency, while using stereo visual masking effect of the observers cannot feel right The quality of the stereo image is guaranteed by the decrease of the image quality.

【技术实现步骤摘要】
基于纹理复杂度的立体图像人眼恰可察觉失真分析方法
本专利技术涉及一种立体图像视觉感知特性的测量与分析技术，尤其是涉及一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特别适用于非对称立体图像及视频编码的人眼最小可察觉失真分析。
技术介绍
早期心理学研究发现，在人眼立体视觉感知中存在掩蔽效应，即在构成立体图像的左视点图像和右视点图像中，质量好的视点图像对整体的立体图像感知质量贡献更大。基于该心理学基础，研究人员通过主观实验进一步研究发现，虽然人眼在观看由左视点图像和右视点图像构成的立体图像时存在这种立体掩蔽效应，但是这种立体掩蔽效应必须限定在一个阈值范围内。即对于一组立体图像，在保证其中一个视点的图像质量良好且维持不变，而另一个视点的图像质量逐渐下降的情况下，虽然整体的立体视觉质量刚开始并不会受到影响，但是当另一个视点的图像质量恶化到一定程度时，人眼已经能感知到这种立体质量的下降，即立体掩蔽效应的阈值点。目前的研究工作已经揭示了立体图像可允许失真的阈值。利用这一立体掩蔽效应，在不降低人眼视觉感知质量的前提下，可在阈值范围内降低其中一个视点的图像质量，而保证另一个视点的图像高质量，以充分去除立体图像中的感知冗余，提升总体编码效率。有研究表明，人眼立体视觉掩蔽效应受到立体图像中纹理复杂度、亮度、颜色等因素的共同影响，且不同因素对人眼立体视觉掩蔽效应可容忍的失真不同。现有的立体图像人眼恰可察觉失真分析方法为立体主观感知实验，主要是从一个视点质量不变另一个视点质量整体下降的角度，来测定人眼可感知立体视觉变化，只得到了一个右视点图像相对于左视点图像的整体恰可感知失真阈值，而忽略了立体图像的不同局部区域纹理复杂度、亮度、颜色等因素的不同对立体视觉局部掩蔽阈值的影响。显然，对于具有不同纹理和亮度分布的自然立体图像，如果仅采用一个整体恰可感知失真阈值，并不能很好地反映立体图像局部的感知冗余，不能最大限度地压缩感知冗余提高编码压缩效率。由于纹理复杂度是影响立体掩蔽效应的重要因素，研究纹理复杂度对立体掩蔽效应的影响意义重大，而目前关于纹理复杂度对立体掩蔽效应影响的定量研究成果鲜见报道，因此，如何设计一个分析方法，以定量分析这个临界值是十分必要的。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其能够针对立体图像中不同局部纹理复杂度的差异调整感知冗余，能够最大程度地利用立体掩蔽效应以压缩感知冗余提高编码压缩效率，从而能够更好地满足非对称立体视频编码的需要。本专利技术解决上述技术问题所采用的技术方案为：一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特征在于包括以下步骤：①利用三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALVn，其中，1≤n≤N；②获取每幅立体图像对应的K个编码立体图像对比测试集，N幅立体图像共有N×K个编码立体图像对比测试集，其中，第n幅立体图像对应的K个编码立体图像对比测试集的获取过程为：②_1、设定一个左视点编码量化参数取值区间为[QPmin,QPmax)；然后从[QPmin,QPmax)中等步长取K个不同的左视点编码量化参数，分别为QPL,1,QPL,2,…,QPL,K，且QPL,1＝QPmin；其中，QPmin表示设定的最小编码量化参数，QPmax表示设定的最大编码量化参数，K>1，QPL,1,QPL,2,…,QPL,K表示所取的第1个、第2个、…、第K个左视点编码量化参数，QPL,1<QPL,2<…<QPL,K；②_2、将第k个左视点编码量化参数QPL,k定义为当前左视点编码量化参数，其中，1≤k≤K，k的初始值为1；②_3、利用视频编码软件，并采用当前左视点编码量化参数对第n幅立体图像的左视点图像以帧内编码方式进行编码，将得到的编码左图像记为Ln,k；②_4、设定一个右视点编码量化参数取值区间为[QPL,k,QPmax]；然后从[QPL,k,QPmax]中等步长取M个右视点编码量化参数，分别为QPR,1,QPR,2,…,QPR,M，且QPR,1＝QPL,k；其中，M>1，QPR,1,QPR,2,…,QPR,M表示所取的第1个、第2个、…、第M个右视点编码量化参数，QPR,1<QPR,2<…<QPR,M；②_5、利用视频编码软件，并采用M个右视点编码量化参数分别对第n幅立体图像的右视点图像以帧内编码方式进行编码，共得到M幅不同质量的编码右图像，将采用第m个右视点编码量化参数QPR,m对第n幅立体图像的右视点图像以帧内编码方式进行编码得到的第n幅编码右图像记为Rn,k,m，其中，1≤m≤M；②_6、将Ln,k分别与M幅编码右图像构成M幅不同质量的编码立体图像，将Ln,k与Rn,k,m构成的编码立体图像记为Sn,k,m；然后将Sn,k,1作为参考编码立体图像，将Sn,k,2,Sn,k,3,…,Sn,k,M分别作为测试编码立体图像，其中，Sn,k,1表示Ln,k与第1幅编码右图像Rn,k,1构成的编码立体图像，Sn,k,2表示Ln,k与第2幅编码右图像Rn,k,2构成的编码立体图像，Sn,k,3表示Ln,k与第3幅编码右图像Rn,k,3构成的编码立体图像，Sn,k,M表示Ln,k与第M幅编码右图像Rn,k,M构成的编码立体图像；接着将Sn,k,1分别与Sn,k,2,Sn,k,3,…,Sn,k,M一一组合成编码立体图像对，将组合得到的M-1个编码立体图像对构成的集合定义为第k个编码立体图像对比测试集，记为{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}，其中，Sn,k,1Sn,k,2表示Sn,k,1与Sn,k,2组合成的编码立体图像对，Sn,k,1Sn,k,3表示Sn,k,1与Sn,k,3组合成的编码立体图像对，Sn,k,1Sn,k,M表示Sn,k,1与Sn,k,M组合成的编码立体图像对；②_7、令k＝k+1，然后将第k个左视点编码量化参数QPL,k作为当前左视点编码量化参数，再返回步骤②_2继续执行，直至K个左视点编码量化参数选择完毕，共得到第n幅立体图像对应的K个编码立体图像对比测试集，其中，k＝k+1中的“＝”为赋值符号；③组织立体图像主观质量评价的参与者多名；然后由每名参与者采用两两对比的方式，在立体显示器上主观观察并对比每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像，再判断打分评判质量；接着统计所有参与者对每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对本文档来自技高网...

【技术保护点】
一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特征在于包括以下步骤：①利用三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALV

【技术特征摘要】
1.一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特征在于包括以下步骤：①利用三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALVn，其中，1≤n≤N；②获取每幅立体图像对应的K个编码立体图像对比测试集，N幅立体图像共有N×K个编码立体图像对比测试集，其中，第n幅立体图像对应的K个编码立体图像对比测试集的获取过程为：②_1、设定一个左视点编码量化参数取值区间为[QPmin,QPmax)；然后从[QPmin,QPmax)中等步长取K个不同的左视点编码量化参数，分别为QPL,1,QPL,2,…,QPL,K，且QPL,1＝QPmin；其中，QPmin表示设定的最小编码量化参数，QPmax表示设定的最大编码量化参数，K>1，QPL,1,QPL,2,…,QPL,K表示所取的第1个、第2个、…、第K个左视点编码量化参数，QPL,1<QPL,2<…<QPL,K；②_2、将第k个左视点编码量化参数QPL,k定义为当前左视点编码量化参数，其中，1≤k≤K，k的初始值为1；②_3、利用视频编码软件，并采用当前左视点编码量化参数对第n幅立体图像的左视点图像以帧内编码方式进行编码，将得到的编码左图像记为Ln,k；②_4、设定一个右视点编码量化参数取值区间为[QPL,k,QPmax]；然后从[QPL,k,QPmax]中等步长取M个右视点编码量化参数，分别为QPR,1,QPR,2,…,QPR,M，且QPR,1＝QPL,k；其中，M>1，QPR,1,QPR,2,…,QPR,M表示所取的第1个、第2个、…、第M个右视点编码量化参数，QPR,1<QPR,2<…<QPR,M；所述的步骤②_4中QPR,2＝QPR,1+δk，QPR,M＝QPR,1+(M-1)δk，其中，δk表示在当前左视点编码量化参数下相邻两个右视点编码量化参数的差值的绝对值，当QPmax-QPL,k＝M时，取δk＝1；当QPmax-QPL,k>M时，取round()为四舍五入取整函数；②_5、利用视频编码软件，并采用M个右视点编码量化参数分别对第n幅立体图像的右视点图像以帧内编码方式进行编码，共得到M幅不同质量的编码右图像，将采用第m个右视点编码量化参数QPR,m对第n幅立体图像的右视点图像以帧内编码方式进行编码得到的第n幅编码右图像记为Rn,k,m，其中，1≤m≤M；②_6、将Ln,k分别与M幅编码右图像构成M幅不同质量的编码立体图像，将Ln,k与Rn,k,m构成的编码立体图像记为Sn,k,m；然后将Sn,k,1作为参考编码立体图像，将Sn,k,2,Sn,k,3,…,Sn,k,M分别作为测试编码立体图像，其中，Sn,k,1表示Ln,k与第1幅编码右图像Rn,k,1构成的编码立体图像，Sn,k,2表示Ln,k与第2幅编码右图像Rn,k,2构成的编码立体图像，Sn,k,3表示Ln,k与第3幅编码右图像Rn,k,3构成的编码立体图像，Sn,k,M表示Ln,k与第M幅编码右图像Rn,k,M构成的编码立体图像；接着将Sn,k,1分别与Sn,k,2,Sn,k,3,…,Sn,k,M一一组合成编码立体图像对，将组合得到的M-1个编码立体图像对构成的集合定义为第k个编码立体图像对比测试集，记为{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}，其中，Sn,k,1Sn,k,2表示Sn,k,1与Sn,k,2组合成的编码立体图像对，Sn,k,1Sn,k,3表示Sn,k,1与Sn,k,3组合成的编码立体图像对，Sn,k,1Sn,k,M表示Sn,k,1与Sn,k,M组合成的编码立体图像对；②_7、令k＝k+1，然后将第k个左视点编码量化参数QPL,k作为当前左视点编码量化参数，再返回步骤②_2继续执行，直至K个左视点编码量化参数选择完毕，共得到第n幅立体图像对应的K个编码立体图像对比测试集，其中，k＝k+1中的“＝”为赋值符号；③组织立体图像主观质量评价的参与者多名；然后由每名参与者采用两两对比的方式，在立体显示器上主观观察并对比每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像，再判断打分评判质量；接着统计所有参与者对每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的分数；其中，在立体显示器上主观观察并对比第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中组合成每个编码立体图像对的两幅编码立体图像之前，先确定播放顺序，具体过程为：将组合成每个编码立体图像对的两幅编码立体图像在立体显示器上显示的左右位置随机化，并令Flag表示参考编码立体图像Sn,k,1在立体显示器上显示的位置标记，若参考编码立体图像Sn,k,1在立体显示器上显示的位置为左边，则令Flag＝1；若参考编码立体图像Sn,k,1在立体显示器上显示的位置为右边，则令Flag＝0；同时，将M-1个编码立体图像对在立体显示器上显示的播放顺序随机化；其中，每名参与者在对第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中组合成每个编码立体图像对的两幅编码立体图像判断打分评判质量时，每个编码立体图像对的两幅编码立体图像在立体显示器上显示的时间为T1k秒，前后播放的两个编码立体图像对的播放间隔时间为T2k秒，1s<T2k<T1k，前后播放的两个编码立体图像对的播放间隔内显示灰度图供每名参与者休息，设置的评定选项为三项，分别为左边图像质量好、差不多、右边图像质量好，若在T1k秒内每名参与者认为显示...

【专利技术属性】
技术研发人员：蒋刚毅，杜宝祯，郁梅，徐升阳，方树清，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33