基于区域分割的立体视频视觉舒适度评价方法技术

基于区域分割的立体视频视觉舒适度评价方法属立体图像评价技术领域，本发明专利技术首先自适应地分割提取出立体视频序列中的运动区域和背景部分的显著性区域，结合深度感知理论和空间合并技术，对视觉舒适度这一特征量进行建模，利用线性回归的方法，再结合人类主观评价实验结果与视差深度之间的逻辑关系，选取契合人类主观评价结果的待定系数及其特征权值，实现对立体视频舒适度自适应的评定。本发明专利技术对放映设备、实验条件进行标定，分别对显著性区域内的背景部分与运动对象，通过设定权值实现对舒适度评价结果的优化，建立了符合人类主观感知结果的立体图像质量客观评价模型，本发明专利技术对加快立体视频系统的发展，具有不可估量的重要作用。

【技术实现步骤摘要】

本专利技术属立体图像评价
，具体涉及一种。
技术介绍
随着多媒体技术和互联网技术的大力发展，立体视频技术正迅速发展起来。与传统媒体相比，立体视频能够为大众创造更加直观真实的场景感受，同时也可以获得更加强烈的临场感。但是由于立体视频自身技术的不完善，也带来了一些不利的影响。观看者在观看立体图像时常用视觉舒适度这一概念反映主观感受到的舒适程度，具体表现在观看立体图像一定时间后，眼睛的疲劳程度和身体的反映状况等。与平面显示不同，如果呈现给观看者的立体图像不符合人类视觉系统的成像规律，就会使观看者产生视觉上的不舒适感，导致视疲劳、恶心、头晕等症状。研究表明，人眼对呈现给左眼、右眼图像的一致性要求很高，如果呈现给左、右眼的图像的差异超过一定的范围，人眼就无法融合成单一的立体图像，从而导致观看立体图像时出现不舒适的症状。立体视频内容的舒适与否直接关系到观看者的视觉感受与生理健康，这已经成为立体产品迅速普及并被用户广泛认同的主要制约因素之一。目前，立体图像质量评价标准大致可以分为两类:基于视觉感知的测量方法和基于视觉兴趣的测量方法。其中基于视觉兴趣的图像质量评价方法的思想是:由于人眼观看一幅图像时只能对其中某一部分区域的细节具有良好的分辨能力，而不能同时分辨图像中的其他区域，同时视觉只对视场中(亮度或纹理)发生显著变化的区域感兴趣，即人类的视觉具有一定的选择性。所以将图像分为视觉感兴趣区(ROI, Region of Interest)和非感兴趣区，并根据感兴趣程度对其设定加权值。所谓的视觉感兴趣区是指人眼只会对图像中显著变化的区域发生兴趣仔细观看，而对那些亮度均匀的平滑区域或空间频率相近的纹理区则忽略掉。整幅图像的视觉质量往往取决于感兴趣区的质量，非感兴趣区的图像质量的降低则影响较小。立体视频系统中的图像质量评价是与立体视频系统相关的所有技术的基础。对立体图像质量评价的理解和深入程度，直接影响到立体视频系统的发展速度。目前，对于立体图像视觉舒适度的评价尚无统一的判定标准，因此，研究立体图像/视频内容舒适度的影响因素将具有重要的意义，如何建立一个符合人类感知结果的立体图像质量客观评价模型也显得尤为重要。
技术实现思路
本专利技术的目的在于提供一种，以提高评价结果的精度，使其更加接近真实的人类主观感受。本专利技术的方法包括下列步骤:1.建立立体视频视觉舒适度的评价模型，具体包括下列步骤:1.1确定人类主观评价中影响视觉舒适度评分的各种因素，包括:视觉疲劳、身体不适、注意力不集中；1.2进行主观评价实验，获取主观评价实验结果；1.3将步骤1.1影响视觉舒适度评分的各种因素和1.2获得的实验结果绘制成特征曲线，并根据主观评价实验的结果与视差深度d的逻辑关系，确定立体视频视觉舒适度评价模型的数学表达式:vc = c^cf+c^cf+c^d+c^其中VC为视觉舒适度评分，c为特征参数，d为视差深度；2.立体视频舒适度的评定，具体包括下列步骤:2.1将显著性区域内的运动对象和原视图中的运动对象同时归为运动区域，将剩下的背景对象归为显著性区域的背景部分；2.2按所处的不同区域，将主观评价的实验结果填入纵坐标为人类主观评价得分M0S、横坐标为立体对象凸出或凹入屏幕的视差深度d的坐标系中，将标注点连成光滑曲线，得到对应的函数；2.3选取步骤2.2所述坐标系中光滑曲线上的观测点所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图；2.4将步骤2.3所得显著性区域分布图与标准视差图以阈值为0.5，按1:1的比例合成为一幅图像，对此图像进行分割、提取，得到对应的吸引人眼大部分注意力，可对实验结果造成较大偏差的显著性特征区域；2.5采用高阶检测的办法对相邻两帧视图进行处理，在抑制噪声的同时得到两幅视图的运动区域；2.6对步骤2.5得到的两幅视图的运动区域进行分割、提取，计算各自的视差深度d ；2.7根据步骤1.3的数学表达式，得到立体视频视觉舒适度评分的数学表达式:----3-2 ---3 -2 -VC = / (dM ,ds) = Wj (α; dM + a2 dM ~ + a3 dM +a4) + W2 ds +b2ds +h、ds+b4)其中:VC为视觉舒适度评分，dM为运动区域部分的视差深度，ds显著性区域背景部分的视差深度，W1^ W2分别赋值为0.8、0.2, a” a2、a3、a4、b2、b3、b4可通过步骤1.2所得结果求得。步骤1.2中所述的主观评价实验包括下列步骤:1.2.1选择年龄为20-35岁，视力正常裸视或佩戴眼镜矫正视力达到1.0、没有会影响实验数据的眼部疾病，有立体视频观测经验，且能够正确透彻地理解评判标准，评分过程中不带有主观倾向性的专业人士作为观测者；1.2.2采用国际视频组织发布的标准序列作为立体视频序列，且设定播发间隔为20s ； 1.2.3设定实验场景中观测者与屏幕间的观测距离L为3m，两眼视距e为65mm ;1.2.4根据水平视差的定义和立体感原理，获得相应目标区域的视差深度d: d=Lp/p-e其中:L、e为步骤1.2.3所设定的已知量，在忽略掉垂直视差的情况下，P为相邻帧两幅视图的水平视差。为了抑制噪声的干扰，提取出较为清晰的运动区域，可以采用高阶统计的检测方法，将运动区域的帧差看作是非高斯信号，噪声看作是均值为零的高斯信号，这样，运动区域的检测就可以模拟为从高斯信号中提取非高斯信号的过程。通过GBVS算法提取出的显著性区域为图像中最能引起观测者兴趣、最能表现图像内容的区域。这些区域所含的信息量大，对于图像的分析和评分起着重要的作用。对于显著性区域的选取，常用的方法是以人的注意力机制为基础，通过数学模型模拟人类的注意力机制，实现对显著性区域的自适应提取，所提取的显著性区域通常颜色突出、内容丰富，可以很好地表现图像的特征。本专利技术充分考虑影响舒适度评分结果的各部分区域，对放映设备、实验条件进行标定，分别对显著性区域内的背景部分与运动对象，通过设定权值实现对舒适度评价结果的优化，建立了符合人类主观感知结果的立体图像质量客观评价模型，本专利技术对加快立体视频系统的发展，具有不可估量的重要作用。附图说明图1为主观评价实验场景布置示意2为水平视差定义和立体感知原理图(负视差)图3为水平视差定义和立体感知原理图(正视差)图4为主观评价结果与视差深度坐标图(显著性区域内运动区域与背景部分)图5为视觉舒适度评价系统框6为图像中的显著性区域示意6中可能吸引人类注意力的对象:1为老人背后的门，2为门前站立的老人，3为路上行走的路人，4为轿车具体实施例方式以下结合附图实例对本专利技术作进一步详细描述。本专利技术将从对放映设备参数的标定和对立体视频舒适度进行评定两个部分详细说明以下实施方案。1.放映设备参数的标定由于受不同型号实验设备以及实验条件的影响，观测立体视频进行舒适度测评时的精确程度很难得到保障，因此需要首先对放映设备的参数进行标定。在这里，本专利技术通过一次人类主观评价，对影响视觉舒适度评分的各种因素(如:视觉疲劳、身体不适、注意力不集中)与主观评价实验结果之间的特征曲线进行比较，建立了视觉舒适度评价模型，再结合主观评价结果与视差深度d的逻辑关系，从而确定出本文档来自技高网...

【技术保护点】
一种基于区域分割的立体视频视觉舒适度评价方法，其特征在于包括下列步骤：1.1建立立体视频视觉舒适度的评价模型，具体包括下列步骤：1.1.1确定人类主观评价中影响视觉舒适度评分的各种因素，包括：视觉疲劳、身体不适、注意力不集中；1.1.2进行主观评价实验，获取主观评价实验结果；1.1.3将步骤1.1.1影响视觉舒适度评分的各种因素和1.1.2获得的实验结果绘制成特征曲线，并根据主观评价实验的结果与视差深度d的逻辑关系，确定立体视频视觉舒适度评价模型的数学表达式：VC＝c1d3+c2d2+c3d+c4其中：VC为视觉舒适度评分，c为特征参数，d为视差深度；1.2立体视频舒适度的评定，具体包括下列步骤：1.2.1将显著性区域内的运动对象和原视图中的运动对象同时归为运动区域，将剩下的背景对象归为显著性区域的背景部分；1.2.2按所处的不同区域，将主观评价的实验结果填入纵坐标为人类主观评价得分MOS、横坐标为立体对象凸出或凹入屏幕的视差深度d的坐标系中，将标注点连成光滑曲线，得到对应的函数；1.2.3选取步骤1.2.2所述坐标系中光滑曲线上的观测点所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图；1.2.4将步骤1.2.3所得显著性区域分布图与标准视差图以阈值为0.5，按1：1的比例合成为一幅图像，对此图像进行分割、提取，得到对应的吸引人眼大部分注意力，可对实验结果造成较大偏差的显著性特征区域；1.2.5采用高阶检测的办法对相邻两帧视图进行处理，在抑制噪声的同时得到两幅视图的运动区域；1.2.6对步骤1.2.5得到的两幅视图的运动区域进行分割、提取，计算各自的视差深度d；1.2.7根据步骤1.1.3的数学表达式，得到立体视频视觉舒适度评分的数学表达式：VC=f(d‾M,d‾S)=w1(a1d‾M3+a2d‾M2+a3d‾M+a4)+w2(b1d‾S3+b2d‾S2+b3d‾S+b4)其中：VC为视觉舒适度评分，dM为运动区域部分的视差深度，ds为显著性区域背景部 分的视差深度，w1、w2分别赋值为0.8、0.2，a1、a2、a3、a4、b1、b2、b3、b4可通过步骤1.1.2所得结果求得。...

【技术特征摘要】
1.种基于区域分割的立体视频视觉舒适度评价方法，其特征在于包括下列步骤: 1.1建立立体视频视觉舒适度的评价模型，具体包括下列步骤: 1.1.1确定人类主观评价中影响视觉舒适度评分的各种因素，包括:视觉疲劳、身体不适、注意力不集中； 1.1.2进行主观评价实验，获取主观评价实验结果； 1.1.3将步骤1.1.1影响视觉舒适度评分的各种因素和1.1.2获得的实验结果绘制成特征曲线，并根据主观评价实验的结果与视差深度d的逻辑关系，确定立体视频视觉舒适度评价模型的数学表 达式:vc = c^cf+c^cf+c^d+c^ 其中:VC为视觉舒适度评分，c为特征参数，d为视差深度； 1.2立体视频舒适度的评定，具体包括下列步骤: 1.2.1将显著性区域内的运动对象和原视图中的运动对象同时归为运动区域，将剩下的背景对象归为显著性区域的背景部分； 1.2.2按所处的不同区域，将主观评价的实验结果填入纵坐标为人类主观评价得分MOS、横坐标为立体对象凸出或凹入屏幕的视差深度d的坐标系中，将标注点连成光滑曲线，得到对应的函数； 1.2.3选取步骤1.2.2所述坐标系中光滑曲线上的观测点所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图； 1.2.4将步骤1.2.3所得显著性区域分布图与标准视差图以阈值为0.5，按1:1的比例合成为一幅图像，对此图像进行分割、提取，得到对应的吸引人眼大部分注意力，可对实验结果造成较大偏差的显著性特征区域； 1.2.5采用高阶检测的办法对相邻两帧视图进行处理，在抑制噪声的同时得到两幅视图的运动区域； 1.2.6对步骤1.2.5得到的两幅视图的运动区域进行分割、提取，计算各自的视差深度d ； 1.2.7根据步骤1.1.3的数学表达式，得到立体视频视觉舒适度评分的数学表达式: ...

【专利技术属性】
技术研发人员：王世刚，王小雨，吕源治，赵岩，王学军，李雪松，俞珏琼，孙爱朦，
申请(专利权)人：吉林大学，
类型：发明
国别省市：