结合多视差和运动的立体视频舒适度评价方法技术

结合多视差和运动的立体视频舒适度评价方法属立体视频视觉舒适度评价技术领域，本发明专利技术提出了将物体的三种视差与物体的运动特性作为影响立体视频舒适度重要因素；提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量这四个对立体视频舒适度有影响的因素，合成视差图并提取水平视差，计算深度视差；结合深度感知理论和最小二乘拟和方法建立主观评价与四大因素的函数关系，得到立体视频舒适度评价模型，再利用主观评价的方法对模型进行评定；本发明专利技术提出了一种新的对立体视频舒适度评价的方法，所建立的模型可以很好地模拟人眼的主观感受，对于研究人眼观看立体视频的舒适度有重要意义。

【技术实现步骤摘要】

本专利技术属立体视频视觉舒适度评价
，具体涉及一种基于人类视觉系统特 性的结合双目视差和运动的立体视频视觉舒适度评价方法。
技术介绍
随着信息技术的发展，大众对视觉体验的追求越来越高。近年3D电影发展迅猛， 由于人们对视觉盛宴的追求，我国上映的3D电影越来越多，2014年据不完全统计，除国外 3d影片外有50部国产3d片上映，有业内人士称今年将是中国电影的"3D年"。看看最近上 映的电影就可以知道，3D电影已经成为观影的主流模式。3d立体视频越来越重要，立体视 频除了用于影视作品外，也被广泛应用到远程会议、教育、医疗等方面。然而观看立体视频 可能导致许多负作用，如眩晕、呕吐，甚至导致视力的下降等，如何消除这些影响，一直是许 多科学家和研宄立体视频方面的人员致力追求的。 立体视频的好坏评价需要一个标准来进行衡量，舒适度正是从人眼对立体视频的 感知方面给出的。对立体视频的舒适度进行评价，就是给出一种最符合人眼主观感受的客 观可操作的标准，以此标准来代替人眼对立体视频作品进行评价，给出视频作品好坏的一 个反馈。影响立体视频舒适度的因素有很多，存在于立体视频的摄录、压缩、传送和显示整 个过程每个步骤的处理中。目前，立体视频舒适度的研宄还没有规范的行业判定标准，因 此，对立体视频视觉舒适度进行研宄具有重要的意义。 目前立体视频的评价标准主要分为两大类：一类是针对图像质量的好坏进行客观 评价，进而得出对立体视频舒适度的影响，有由压缩导致的相应模块被量化成不同值引起 的双眼光泽现象，以及图像的亮度、色度、对比度等产生的影响。另一类是由人眼的深度感 知来评价立体视频的舒适度，有由考虑单双目线索用GPU计算的立体视频渲染技术，由调 节空间复杂度来提高视觉舒适度，以及由视差的大小引起的辐辏和调节冲突对舒适度的影 响。 立体视频系统中的图像质量评价，是与立体视频系统相关的所有技术的基础。对 立体图像质量评价的理解和深入程度，直接影响到立体视频系统的发展速度，立体图像质 量客观评价模型显得尤为重要。然而，立体视频的舒适度是与人类的主观感受关系更密切 的存在，考虑到存在着图像质量很好但立体感不强的情况，所以可以得知图像的质量好，并 不代表符合人眼的立体视觉特性，如何建立一个符合人类感知结果的舒适度评价系统更为 重要。
技术实现思路
本专利技术的目的在于提供一种基于人类视觉系统特性的立体视频视觉舒适度评价 方法，以使其与人类视觉的主观感受更加相关。 -种结合多视差与运动的立体视频视觉舒适度评价方法包括下列步骤： 1.提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤： I. 1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图， 利用谱分析算法进行处理，得到显著物体区域的分布图； 1. 2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧 左、右立体视图进行处理，得到帧内相关背景区域图； 1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后 将得到的标准视差图分别与步骤I. 1中所提取的显著物体区域、步骤1. 2中提取的帧内相 关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计算 视差株度； 1. 4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提 取水平视差，计算视差深度； 1. 5运动量提取：利用步骤I. 1中显著物体提取方式，提取第T帧与第T+1帧的左 视图的显著物体区域进行融合，再结合步骤1. 4中的帧间标准视差图进行运动量的提取； 2.建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤： 2. 1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离 L为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔 设定为20s; 2. 2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩 戴眼镜矫正视力需要达到1. 〇 ;年龄为20-35岁的男性和女性；分为普通人和有相关经验 的专家；佩戴主动快门眼镜无不良反应； 2. 3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对 国际标准立体视频序列进行评分，获得人类主观评价得分MOS值； 2. 4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差【主权项】1. 一种结合多视差与运动的立体视频视觉舒适度评价方法，其特征在于包括下列步 骤： 1. 1提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤： 1. 1. 1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图，利 用谱分析算法进行处理，得到显著物体区域的分布图； I. 1. 2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧左、 右立体视图进行处理，得到帧内相关背景区域图； 1. 1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后将 得到的标准视差图分别与步骤I. I. 1中所提取的显著物体区域、步骤I. 1. 2中提取的帧内 相关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计 算视差深度； I. 1. 4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提取 水平视差，计算视差深度； I. 1. 5运动量提取：利用步骤I. I. 1中显著物体提取方式，提取第T帧与第T+1帧的 左视图的显著物体区域进行融合，再结合步骤I. 1. 4中的帧间标准视差图进行运动量的提 取； 1. 2建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤： 1. 2. 1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离L 为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔设 定为20s ; 1. 2. 2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩戴 眼镜矫正视力需要达到1. 0 ;年龄为20-35岁的男性和女性；分为普通人和有相关经验的 专家；佩戴主动快门眼镜无不良反应； 1. 2. 3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对国 际标准立体视频序列进行评分，获得人类主观评价得分MOS值； 1. 2. 4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差，得 到相应的视差深度d为：，由此计算步骤I. 1. 3所提取的帧内显著物体视差、相关 背景视差，以及步骤I. 1. 4的帧间视差对应的视差深度dn、db、dj; 上述公式中：L为步骤I. 2. 1所设定的已知量，s为瞳距65mm，ds是在忽略掉垂直视差 的情况下，相邻帧两幅视图的水平视差； 1. 2. 5计算运动量：根据步骤I. 1. 5中运动量的大小设定阈值，进行运动量区间的划 分； 1. 2. 6根据步骤1. 2. 3主观评价的实验结果与步骤1. 2. 4中得到的帧内显著区域视差 dn、帧内相关背景视差db、帧间视差七以及步骤1. 2. 5所述的运动量进行最小二乘拟合，确 定立体视频视觉舒适度评价与四种影响本文档来自技高网...

【技术保护点】
一种结合多视差与运动的立体视频视觉舒适度评价方法，其特征在于包括下列步骤：1.1提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤：1.1.1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图，利用谱分析算法进行处理，得到显著物体区域的分布图；1.1.2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧左、右立体视图进行处理，得到帧内相关背景区域图；1.1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后将得到的标准视差图分别与步骤1.1.1中所提取的显著物体区域、步骤1.1.2中提取的帧内相关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计算视差深度；1.1.4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提取水平视差，计算视差深度；1.1.5运动量提取：利用步骤1.1.1中显著物体提取方式，提取第T帧与第T+1帧的左视图的显著物体区域进行融合，再结合步骤1.1.4中的帧间标准视差图进行运动量的提取；1.2建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤：1.2.1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离L为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔设定为20s；1.2.2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩戴眼镜矫正视力需要达到1.0；年龄为20‑‑35岁的男性和女性；分为普通人和有相关经验的专家；佩戴主动快门眼镜无不良反应；1.2.3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对国际标准立体视频序列进行评分，获得人类主观评价得分MOS值；1.2.4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差得到相应的视差深度d为：由此计算步骤1.1.3所提取的帧内显著物体视差、相关背景视差，以及步骤1.1.4的帧间视差对应的视差深度dn、db、dj；上述公式中：L为步骤1.2.1所设定的已知量，s为瞳距65mm，ds是在忽略掉垂直视差的情况下，相邻帧两幅视图的水平视差；1.2.5计算运动量：根据步骤1.1.5中运动量的大小设定阈值，进行运动量区间的划分；1.2.6根据步骤1.2.3主观评价的实验结果与步骤1.2.4中得到的帧内显著区域视差dn、帧内相关背景视差db、帧间视差dj以及步骤1.2.5所述的运动量进行最小二乘拟合，确定立体视频视觉舒适度评价与四种影响因素的关系函数式为：Vc1=a0dn3+a1dn2+a2dn+a3---(1)]]>Vc2=b0*eb1*db---(2)]]>Vc3=c0+c1*djv---(3)]]>1.2.7根据人眼立体视觉特性和对立体视频的评价经验，对步骤1.2.6中得到的影响舒适度各因素的函数分别进行加权处理；得到相应的视觉舒适度评分函数模型VC：VC=w1(a0dn3+a1dn2+a2dn+a3)+w2(b0*eb1*db)+w3(c0+c1*djv)--(4)]]>1.2.6和1.2.7步骤的(1)、(2)、(3)、(4)式中：Vc1，Vc2，Vc3分别为帧内显著物体、帧内相关背景、帧间视差以及物体运动与评分由最小二乘拟合得到的函数关系式；VC为视觉舒适度评分；w1,w2,w3是根据视觉特性赋予的经验权值，其值分别为0.7，0.2，0.1；dn为帧内显著区域视差；db为帧内相关背景视差；dj为帧间视差；v为运动变量；a0、a1、a2、a3、b0、b1、c0、c1为进行最小二乘拟合时得到的系数。...

【技术特征摘要】

【专利技术属性】
技术研发人员：王世刚，姜秀红，王晓燕，武伟，赵文婷，赵晓琳，鲁奉军，霍昊达，孙飞飞，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22