本发明专利技术公开一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法：首先，制定计算立体视频感兴趣区域内运动特征向量策略；然后，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。本发明专利技术提出的评价结果和人眼主观立体舒适性结果一致性更好。
【技术实现步骤摘要】
本专利技术涉及双眼立体视觉领域，具体地说，涉及的是一种基于立体视频感兴趣区域内运动特征的立体视觉舒适度评价方法。
技术介绍
立体视觉舒适度评价标准是根据立体视频的视觉特性(如视差特征、运动特征等)，建立相应的标准来判断和预测立体视频对观测者造成的立体视觉舒适程度。随着立体电视技术的高速发展，立体视觉舒适度评价标准逐渐引起人们的关注。因为在立体视觉安全领域中，立体视觉舒适度评价标准在预测立体视觉疲劳和不舒适性中起到关键的作用。在预防立体视觉疲劳和不舒适性的分析过程中，视觉的辐辏调节冲突和在时间域与空间域中视差特征变化、运动特征变化是导致立体视觉不舒适的关键因素。本专利技术中着重关注立体视频感兴趣区域内运动特征和立体视觉舒适度之间的关系，所提出的基于立体视频感兴趣区域内运动特征的立体视觉舒适度评价方法，在立体视频拍摄及后期制作过程中，提供立体舒适性质量评价参考值，有助于提高成片后立体视频的人眼观看的安全性。经过对现有技术文献的检索发现，Jaeseob Choi等人于2010年在《IEEE ImageProcessing International Conference (图像处理国际会议)》上发表的“Visual fatigueevaluation and enhancement for 2D_plus_Depth video (关于 2D_Plus_Depth 视频的视觉疲劳的评价方法)”中提出根据立体视频帧内深度值特征和帧间深度值特征来评估立体视频的运动特征，进而对立体视觉舒适度进行评价。又经检索发现，Sumio Yano等人于2002年在《Displays (显示)》上发表的“Astudy of visual fatigue and visual comfort fr 3D HDTV/HDTV images (关于 3D 高清电视的视觉疲劳和舒适性的研究)”中提出基于全局视差信息，分析建立表征运动特征的运动特征比率值，进而对立体视觉舒适度进行评价；该运动特征比率值描述着在立体视频序列中相对快速运动的运动信息与相对慢速运动的运动信息的比值。又经检索发现，Y.J.Jung等人于2012年在《Journal of Electronic Imaging(电子图像期刊)》上发表的“Visual comfort assessment metric based on salient objectmotion information in stereoscopic video (基于立体视频序列中显著性运动信息的视觉舒适性评价)”中采用基于人眼关注模型的立体视觉舒适度评价方法；首先，基于稠密光流跟踪方法获取立体视频的运动信息；其次，综合分析提取立体视频的显著性区域内运动特征；根据立体视频的运动特征和立体视觉舒适度之间的非线性关系，建立评估立体视频舒适度的评价标准。然而上述三种评价标准存在一定的问题:首先，上述提及的第一种和第二种评价标准基于全局视差信息进行分析和判断；根据人眼关注模型，相比于全局视差信息，感兴趣区域内视差信息在立体视觉舒适度评价标准中起到更加显著和重要的作用，从而提高立体视觉舒适度判断的准确性；其次，上述提及的第三种评价标准基于立体视频感兴趣区域内块级运动特征；相比于像素级运动特征，它不能精确地反映立体视频在时间域和空间域中运动特征的变化情况；同时，第三种评价标准采用稠密光流跟踪方法来获取运动信息；相比于稀疏光流跟踪方法，它的鲁棒性不好，需要消耗较大的运算时间；此外，在提取感兴趣区域的过程中，并没有结合深度空间信息来进一步提高感兴趣区域提取的准确性。
技术实现思路
本专利技术的目的在于克服现有技术的上述不足，提出一种更加高效、准确和稳定的。为实现上述的目的，本专利技术采用的技术方案是:本专利技术根据人眼关注模型，通过提取立体视频感兴趣区域的运动特征来评价立体视觉舒适度。首先，制定提取立体视频感兴趣区域内运动特征向量策略；在提取运动特征向量策略中，首先基于SIFT提取特征角点集；其次，选择基于图像金字塔的Lucas-Kanade光流跟踪，筛选得到具有时间一致性的特征角点对；最后，选择SMDE提取立体视频感兴趣区域，筛选得到具有时间一致性和位于空间感兴趣区域内的特征角点对，得到立体视频感兴趣区域内运动特征向量。其次，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于感兴趣区域内运动特征向量和立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。本专利技术方法具体包括如下步骤:第一步，制定提取立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量；针对立体视频，选择左视图作为视点参考视图，包括如下步骤:I)基于SIFT特征点提取，分别提取立体视频参考视图第i帧Xi的特征角点集CPi和立体视频参考视图第i +Ι帧Xi+1的特征角点集CPi+1 ；2)选择基于图像金字塔的Lucas-Kanade光流跟踪算法，筛选得到立体视频参考视图第i帧Xi与第i+Ι帧Xi+1间具有时间一致性的特征角点对CPPi=KCPiil, CPi+ljl)，…，(CPi,N，CPi+1,N)}，其中，N为匹配到的点对数；3)采用综合分析提取立体视频参考视图第i帧Xi的显著图信息、运动图信息和深度空间信息的SMDE方法，提取立体视频参考视图第i帧Xi的感兴趣区域BROIi,从CPPi中筛选得到视频第i帧Xi与第i+Ι帧Xi+1间具有时间一致性并位于空间感兴趣区域内的特征角点对ROICPP1:RoiCPPi=KCP' ia，CP' i+ia)，…，(CP' i；M, CPi i+1，M)} (Μ 彡 N)，其中，M 为感兴趣区域上的匹配点对数。具体而言，SMDE方法提取立体视频的感兴趣区域BROIi的步骤如下:a)基于频域调节的显著性区域检测方法，提取得到立体视频参考视图第i帧Xi的显著图Salienti ；b)基于稀疏矩阵降秩分解的方法，提取得到立体视频参考视图第i帧Xi的运动图Motioni ；c)采用基于区域的视差预测方法，得到立体视频参考视图第1帧Xi的深度图Depthi和视差彳目息Disi ；d)基于评价框架的感兴趣区域提取策略，釆用自适应阈值方法，即设置各图的平均值作为相应阈值，得到显著二值图BSalientp运动二值图BMotioni和深度二值图BDepthi ；e)基于显著二值图BSalientp运动二值图BMotioni和深度二值图显著图信息、运动信息和深度空间信息不同的权重，进而得到感兴趣区域权重图ROIi ;具体而H，ROIi= a ^BSalienti+ β ^BMotioni+ y ^BDepthi其中α，β和Y分别为显著图信息，运动信息和深度空间信息的权重；此外，α，β和Y的取值有如下约束:α+β + Y =1 ;f)基于感兴趣区域权重图ROIi,计算感兴趣区域权重图的平均权重值；采用自适应阈值方法，即设置计算得到的平均权重值为阈值，得到感兴趣区域权重二值图BROIi ；4)基于SMDE计算立体视频参考视图第i帧Xi与第i+Ι帧Xi+1对应的全局视差信息Disi, Disi+1,得到立体视频参考视图感兴趣区域内运动特征向量M本文档来自技高网...
【技术保护点】
一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于，包括如下步骤：第一步，制定计算立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量；第二步，基于人眼视觉模型，建立运动特征和立体视觉舒适度之间非线性关系的立体视觉模型；第三步，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，制定立体视觉舒适度评价方法，最终得到立体视频的视觉舒适度评分VC。
【技术特征摘要】
1.一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于，包括如下步骤: 第一步，制定计算立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量； 第二步，基于人眼视觉模型，建立运动特征和立体视觉舒适度之间非线性关系的立体视觉模型； 第三步，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，制定立体视觉舒适度评价方法，最终得到立体视频的视觉舒适度评分VC。2.根据权利要求1所述的基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于，所述制定计算立体视频感兴趣区域内运动特征向量策略:针对立体视频，选择左视图作为视点参考视图，具体包括如下步骤: 1)，基于SIFT特征点提取，分别提取立体视频参考视图第i帧Xi的特征角点集CPi和立体视频参考视图第i+Ι帧Xi+1的特征角点集CPi+1 ； 2)，选择基于图像金字塔的Lucas-Kanade光流跟踪算法，筛选得到立体视频参考视图第i帧Xi与第i+Ι帧Xi+1间具有时间一致性的特征角点对CPPi=KCPiil, CPi+ljl)，…，(CPi,N，CPi+1,N)}，其中，N为匹配到的点对数； 3)，采用综合分...
【专利技术属性】
技术研发人员：周军，毕野，王嶺，孙军，张艳芳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。