基于显著性区域的立体图像舒适度视差范围的测定方法技术

本发明专利技术属于图像处理领域，为提出立体图像舒适度视差范围的测定方法，定量研究视差因素对立体图像舒适度的影响。为此，本发明专利技术采用的技术方案是，基于显著性区域的立体图像舒适度视差范围的测定方法，首先利用立体显著区域提取算法获得显著立体图像，并用眼动仪验证其合理性；然后采用像素平移法对显著立体图像进行视差变换，得到实验素材并进行主观实验，主观实验是由一组视锐度良好的被试对实验素材进行评价；处理实验数据，得到舒适视差的定量范围。本发明专利技术主要应用于图像处理场合。

A method for measuring parallax range of stereo image comfort based on salient region

The invention belongs to the field of image processing, in order to propose a method for measuring the parallax range of stereoscopic image comfort, and quantitatively study the influence of parallax factors on stereoscopic image comfort. For this reason, the technical scheme adopted in the present invention is to determine the comfort disparity range of the stereoscopic image based on the saliency region. First, the saliency region extraction algorithm is used to obtain the salient stereoscopic image, and the rationality of the method is verified by the eye movement meter. Then, the pixel translation method is used to transform the saliency stereoscopic image into the disparity range. Subjective experiments are conducted by a group of subjects with good visual acuity to evaluate the experimental materials, and the quantitative range of comfortable parallax is obtained by processing the experimental data. The invention is mainly applied to image processing occasions.

【技术实现步骤摘要】
基于显著性区域的立体图像舒适度视差范围的测定方法
本专利技术属于图像处理领域，涉及影响立体图像观看舒适度的因素研究，尤其是涉及一种基于立体图像显著区域的舒适视差定量研究方法。
技术介绍
视差型立体显示是当前主流的立体显示技术[1]，显示内容的水平视差和垂直视差对视觉舒适度有重要影响。水平视差能为立体图像带来立体感，水平视差过小会降低立体内容的深度和立体感，过大易给观看者造成复视、恶心等不舒适症状[2]。垂直视差难以避免且消除过程复杂，尚无标准指出将垂直视差校正到何种范围内不会破坏视觉舒适度。对视差因素影响视觉舒适度的研究中，文献[3]指出在观看立体内容时，过大的双目视差和立体失真是造成视觉不舒适的主要因素。文献[4]表明，长时间观看双目差异较大的立体内容会诱发眼部疾病。文献[5]研究了图像的视差幅度和视差梯度对视觉舒适度的影响。文献[6]通过让被试观察具有不同视差的小球，研究了柱透镜光栅3D显示器观看的舒适视差范围。文献[7]表明当立体图像的视差一定时，图像中前景物体越宽，越难以融合得到舒适的图像。上述研究大都是定性的，为了给立体内容的制作提供直接精确的标准，需要进行定量研究。文献[8]基于整幅图像定量研究了水平视差对视觉舒适度的影响，未考虑人眼视觉的显著特性。人眼在观看立体图像时倾向于忽略非显著对象，只关注视觉显著区域，这种特性称为视觉注意机制[9]。因此本专利技术首次结合视觉注意机制，通过大量主观实验定量研究视差因素对立体图像舒适度的影响。首先利用平面显著图和立体视差图得到显著立体图像，并用眼动仪验证其正确性；然后采用平移像素法对显著立体图像进行变换，得到大量视差失真的立体图像并进行主观实验。最后拟合出主观评价值随视差变化的曲线图，得到舒适视差的定量范围。验证结果表明，本专利技术方法所得的舒适视差范围更精确、更符合人眼视觉特性，能为立体内容的制作提供更科学易行的定量标准。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出立体图像舒适度视差范围的测定方法，定量研究视差因素对立体图像舒适度的影响。为此，本专利技术采用的技术方案是，基于显著性区域的立体图像舒适度视差范围的测定方法，首先利用立体显著区域提取算法获得显著立体图像，并用眼动仪验证其合理性；然后采用像素平移法对显著立体图像进行视差变换，得到实验素材并进行主观实验，主观实验是由一组视锐度良好的被试对实验素材进行评价；处理实验数据，得到舒适视差的定量范围。具体地，显著立体图像的获取：通过基于图形的视觉显著区域GBVS(Graph-basedvisualsaliency)算法处理右视点图像得到二维图像显著图，通过快速立体匹配算法得到立体图像视差图，结合二维图像显著图和立体图像视差图得到立体显著度图，立体显著度图经模糊原理及掩膜优化得到显著立体图像；采用像素平移法，对显著立体图像进行不同等级的水平视差调整和垂直视差调整，得到主观实验素材。视差失真图像的获取具体地：预实验确定正、负水平视差的最大调整范围为250pixel，最小调整量为5pixel，因此一幅源立体图像，经过视差调整可得100幅视差失真立体图像；预实验确定最大正、负视差调整范围为100pixel，最小调整量为2pixel，同理一幅源立体图像经过垂直视差调整可得100幅视差立体图像；综上，一幅源图像共生成200幅视差失真的立体图像。主观实验、处理实验数据具体步骤如下：主观实验时所用显示器的屏幕高度为27cm，观看距离是屏幕高度的7倍，实验挑选26名视锐度良好的被试，女性12名，男性14名，主眼均为右眼，采用双刺激损伤标度法，被试对每幅失真图像评分时都以源图像作为参考，每位被试评测时长不超过30min，实验前指导被试，被试理解评分规则后进行测试，为保证被试所给分值的准确性，需对实验数据进行筛选；首先由每个被试所给分值xi，计算一幅立体图像所得评价值的均值和标准差，根据Grubbs检验法剔除异常主观评价值；然后计算评分的二阶矩和四阶矩，按照国际电信联盟ITU(InternationalTelecommunicationUnion)-1438的方法剔除异常被试，两级筛选后，对失真图像的M个主观分数xi进行统计平均，得到主观评价值用最小二乘分段线性拟合法处理主观评价值数据。舒适视差的定量范围具体地，按照评价意见MOS(MOS:MeanOpinionScore)值随视差值变化的变化趋势,设定图像五个子区域R1～R5，选取MOS≥4的图像为满足视觉舒适要求的立体图像，将R1～R5的信息汇总于表1如下：表1R1～R5区域属性表(1)R1区域为立体视觉舒适区，视差范围为0～25pixels，是主观评价值的增区间，R1区域靠近零视差面，视差范围较窄，随着入屏视差的出现，画面立体感逐渐增强，入屏视差变大对增强立体感的贡献大于对双目融合的破坏，立体视觉体验更好，在此区域内主观评价值随视差增大而增大，直到峰值；(2)R2区域为立体视觉舒适区，视差范围为25～80pixels，是主观评价值的减区间，在R2内，随着正视差的增大，画面景深更深，立体感增强使得视觉体验更好，但视差变大使得融合得到单目图像所需时间逐渐变长，MOS值随视差增大而减小，整体看来，此区域内的立体内容既具备良好的立体感也不易使观众产生视疲劳，因此R2区域是视觉舒适区域；(3)R3区域为立体视觉不舒适区，视差范围为>80pixels，是主观评价值的减区间，区间视差过大，超过Panum融像区的允许范围，引起双目的辐辏调节冲突，人眼所需融像时间更长，造成眼肌疲劳，视觉舒适度降低至4分以下，随着视差进一步增大，人眼不能在短时间内融合左右视点得到立体图像，出现复视现象，此时主观分数降至3分以下，制作立体内容时应该避免这种情况；(4)R4区域为立体视觉舒适区，视差范围为0～-52pixels，是主观评价值的减区间，相较于入屏的立体图像，出屏立体图像能带来更逼真的视觉体验，在R4区域，立体内容的水平视差较小，双目差异在Panum融像区内，双目单视的效果好，立体内容略微出屏，不会逼近人眼造成眼部肌肉紧张，此范围内的立体内容视觉舒适度高；(5)R5区域为立体视觉不舒适区，视差范围为<-52pixels，是主观评价值的减区间。随着负视差绝对值的增大，出屏视差过大，人眼感知到的3D图像越来越远离屏幕而接近人眼，逼迫眼球向内运动，视线的交叉角增大，被试产生眼胀和头晕的感觉，此范围内的立体内容视觉舒适度差，制作立体内容时应该避免这种情况；(6)综合来看，正视差区域和负视差区域基本关于直线x＝0对称，主要差异有二：第一，正视差的舒适范围大于负视差的舒适范围，满足立体内容舒适度要求的最大正视差为80pixels，最大负视差为-52pixels；第二，正视差区域存在一个较小的增区间R1，幅度较小的入屏视差能带来立体感，且不会影响双目融合，此时舒适度随视差值增大而提高，直至视差大到干扰双目融合时，视觉舒适度达到峰值。本专利技术的特点及有益效果是：本专利技术基于视觉注意机制，通过大量主观实验定量研究了视差因素对立体图像舒适度的影响，绘制了主观舒适度分别随水平视差和垂直视差的变化曲线图，得到了立体图像舒适水平视差范围和人眼可接受的垂直视差范围。曲线图定性反映了立体图像舒适度本文档来自技高网...

【技术保护点】
1.一种基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，首先利用立体显著区域提取算法获得显著立体图像，并用眼动仪验证其合理性；然后采用像素平移法对显著立体图像进行视差变换，得到实验素材并进行主观实验，主观实验是由一组视锐度良好的被试对实验素材进行评价；处理实验数据，得到舒适视差的定量范围。

【技术特征摘要】
1.一种基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，首先利用立体显著区域提取算法获得显著立体图像，并用眼动仪验证其合理性；然后采用像素平移法对显著立体图像进行视差变换，得到实验素材并进行主观实验，主观实验是由一组视锐度良好的被试对实验素材进行评价；处理实验数据，得到舒适视差的定量范围。2.如权利要求1所述的基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，具体地，显著立体图像的获取：通过基于图形的视觉显著区域GBVS(Graph-basedvisualsaliency)算法处理右视点图像得到二维图像显著图，通过快速立体匹配算法得到立体图像视差图，结合二维图像显著图和立体图像视差图得到立体显著度图，立体显著度图经模糊原理及掩膜优化得到显著立体图像；采用像素平移法，对显著立体图像进行不同等级的水平视差调整和垂直视差调整，得到主观实验素材。3.如权利要求1所述的基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，视差失真图像的获取具体地：预实验确定正、负水平视差的最大调整范围为250pixel，最小调整量为5pixel，因此一幅源立体图像，经过视差调整可得100幅视差失真立体图像；预实验确定最大正、负视差调整范围为100pixel，最小调整量为2pixel，同理一幅源立体图像经过垂直视差调整可得100幅视差立体图像；综上，一幅源图像共生成200幅视差失真的立体图像。4.如权利要求1所述的基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，主观实验、处理实验数据具体步骤如下：主观实验时所用显示器的屏幕高度为27cm，观看距离是屏幕高度的7倍，实验挑选26名视锐度良好的被试，女性12名，男性14名，主眼均为右眼，采用双刺激损伤标度法，被试对每幅失真图像评分时都以源图像作为参考，每位被试评测时长不超过30min，实验前指导被试，被试理解评分规则后进行测试，为保证被试所给分值的准确性，需对实验数据进行筛选；首先由每个被试所给分值xi，计算一幅立体图像所得评价值的均值和标准差，根据Grubbs检验法剔除异常主观评价值；然后计算评分的二阶矩和四阶矩，按照国际电信联盟ITU(InternationalTelecommunicationUnion)-1438的方法剔除异常被试，两级筛选后，对失真图像的M个主观分数xi进行统计平均，得到主观评价值用最小二乘分段线性拟合法处理主观评价值数据。5.如权利要求1所述的基于显著性区域的立体图像舒适度视差范围的测定方法，其特征是，舒适视差的定量范围具体地，按照评价意见...

【专利技术属性】
技术研发人员：李素梅，胡佳洁，常永莉，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12