基于EEG对立体视频不同视差位置字幕舒适度评价方法技术

本发明专利技术涉及一种基于EEG对立体视频不同视差位置字幕舒适度评价方法，包括下列步骤：选取背景分别在屏幕内与屏幕外的立体图像，并在与背景不同相对视差位置添加立体字幕。设计用于被试主观评价时进行打分的主观评分表。视观看舒适程度的而不同将立体字幕观看舒适度分为5非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差。获取被试对背景在屏内外的各个等级立体字幕实验素材的主观评价结果。记录各个立体字幕实验素材的刺激下被试的脑电信号，将立体字幕实验素材划分成舒适与不舒适两类。对EEG信号提取频域特征，使用舒适和不舒适两种对EEG信号进行分类，用Fisher比率法进行数据降维，最后用SVM分类器对其分类并预测。

【技术实现步骤摘要】

：本专利技术涉及在立体视频中的插入舒适的立体字幕的立体显示技术研究领域。
技术介绍
：随着立体显示技术的高速发展，立体视频及产品在我们的生活中将越来越普及，而字幕作为获取视频信息的主要方式之一，舒适的立体字幕可以带给观众更好地3D体验。目前，在国外对立体字幕的研究上，IMAX公司的BERICTodor等提出了基于三维图像的深度信息对立体字幕叠加的方法。此计算方法的时间复杂度低，极大地提高了对深度的计算时间，满足一定的时效性需求，但是代价是丢掉了大量的图像信息，降低了可靠性。国内对立体字幕的研究也取得了一定的成果。清华大学的戴琼海教授提出的一种立体视频字幕添加方法，主要是在多视点图像中调整字幕与各个视点水平视差大小，保证字幕与各个视点的舒适区域，从而提高舒适性。视差指左右眼观察立体图像时左右眼出现的偏差大小。合适的视差的字幕会带给观看者非常舒适的视觉效果，而视差与背景视差大小冲突的字幕会妨碍观看者获取视频信息及字幕信息，立体内容观看体验下降，甚至引发眼干、头晕、呕吐等立体视觉不舒适等问题。由于立体视频字幕的制作原理与传统的二维字幕制作不同，针对立体视频的字幕制作还没有统一的标准及规范。因而舒适视差的立体视频字幕是3D产品制作的一个研究热点及难题。EEG(electroencephalograph)信号是人们大脑皮层中全部神经元对各种信号进行加工时产生的有节律并且持续缓慢变化的电位信号。脑电信号因为不受外界因素影响，能够忠实地记录观看者的真实反映，而具有较高的准确性。事件相关电位具有高时间分辨率，可以连续记录被试观看立体内容时的脑电信号。EEG技术作为一种衡量人体脑活动的技术已成熟，使其成为立体客观评价的有效方法。基于EEG的舒适视差的立体视频字幕的研究，提取出舒适视差大小字幕时的脑电特征，可以丰富神经信息学与人脑认知科学的内容，也推动脑机接口产业的发展。国内外对立体视频质量的评价方法主要分为主观评价和客观评价两种。主观评价方法的时间分辨率相对较低，无法同步地对生理以及心理信息进行反馈，加上被试对于立体信息的感知质量差异较大，主观臆断甚至会致使实验结果与事实相悖。针对主观评价方法的局限性，以及解决视觉疲劳因素的影响，出现了各种结合人类视觉特性的客观评价方法，比如测量生物信号的方法，但是这种方法受限于被试的疲劳状况。基于EEG的不同视差的字幕舒适度的评价，将主观行为实验与以EEG频域特征提取为基础的客观评价实验结合起来，将得到更加合理的实验结果，而且以此为基础进一步研究，还可以建立基于EEG舒适视差的立体视频字幕的在线添加方法。
技术实现思路
：本专利技术的目的是提供一种对立体视频不同视差位置字幕舒适度评价方法。技术方案如下：1.基于EEG对立体视频不同视差位置字幕舒适度评价方法，包括下列步骤：1)选取背景分别在屏幕内与屏幕外的立体图像，并在与背景相对视差0.2°、0.4°、0.6°、0.8°与1°位置添加立体字幕，将实验素材分为5个等级。2)设计用于被试主观评价时进行打分的主观评分表。视观看舒适程度的而不同将立体字幕观看舒适度分为5个等级，分别为非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差，对应分值为1分、2分、3分、4分、5分。3)设计主观实验获取被试对背景在屏内外的各个等级立体字幕实验素材的主观评价结果。4)设计EEG实验，并记录各个立体字幕实验素材的刺激下被试的脑电信号，按照3.5分的标准将各个等级的立体字幕实验素材划分成舒适与不舒适两类，即将脑电信号分成两类。5)对实验获取的EEG信号做预处理，去除噪声干扰。6)对预处理后的EEG信号提取频域特征，使用舒适和不舒适两种对EEG信号进行分类，用Fisher比率法进行数据降维，最后用SVM分类器对其分类并预测。附图说明：通过附图，可以使本专利技术的实施步骤及优点更加凸显，也更容易地理解本专利技术的流程与操作。图1本专利技术的流程框图图2主观实验素材示意图图3主观实验流程图图4EEG实验流程图具体实施方式：为使本专利技术的方案更加清楚明了，便于实施，以便于更加凸显本专利技术的优点及目的，下面结合附图对本专利技术实施方案作进一步地详细阐述与说明。S101：立体实验素材的制作本专利技术选取背景在屏幕内与背景在屏幕外的立体图像，如图2(a)、2(b)所示，其中图2(a)所示为图像背景融像在屏幕内，图2(b)所示为图像背景融像在屏幕外。本专利技术主要研究的是字幕与背景的相对位置对观看舒适度的影响，因此在实验材料的制作时，在实验素材相对视差为0.2°、0.4°、0.6°、0.8°与1°位置添加立体字幕，将实验素材分为5个等级。S102：主观评价在本专利技术中，选取噪音隔绝、光线适中的实验室作为实验环境，以免除外界环境对被试的主观感受的影响；在实验之前，让被试保持良好的精神状态，并在正式开始实验之前进行实验前的训练，当确定被试已经能够熟练的完成实验任务的时才开始进行实验。在填写被试知情同意书之后，让被试坐在噪音隔绝的实验环境中。图像刺激由E-prime2.0呈现，采用经典的S1-S2范式，每个实验试次(试次，指一个图片刺激呈现到下一个刺激呈现的全部流程，如表2所示)本专利技术为了保证实验具有鲁棒性，主观实验被试者的选项需要综合考虑年龄、性别、视力状况以及有无立体显示评价经验等因素。其中视力状况是重点考虑因素，研究统计表明大约5％～10％的人不具备正常视差立体感，因此有必要通过实验前训练筛选被试者。本专利技术选取5名具备正常立体感知的被试，年龄在20～28岁之间，其中男性3人，女性2人，2人有立体显示评价经验，而其余被试均没有立体显示评价的经验，所有被试精神状态良好。本专利技术设计的主观问卷表如表1所示，视观看舒适程度的而不同将立体字幕观看舒适度分为5个等级，分别为非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差。对应分值为1分、2分、3分、4分、5分。表1主观评价评分表本专利技术涉及主观实验流程如图3所示，首先是在屏幕上呈现白色圆点，呈现时间为1s，让被试的注意力集中在屏幕上面随后随机呈现含有不同相对视差的字幕的立体图像的主观实验素材，呈现时间2s然后在屏幕上再次呈现白色圆点，此时要求被试对观看素材按照一定标准进行打分，即分为5个等级：非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差。对应分值为1分、2分、3分、4分、5分。打分后稍作休息按下鼠标后进入下一试次。由于实验素材分屏内屏外各5种，共计10种，因此10个试次后实验结束。我们对五组被试的结果进行统计平均并得到如表2所示的分值。并按照分值是否高于3.5分将实验素材划分成舒适与不舒适两类。表2主观实验评分结果S103：采集被试的脑电信号让被试佩戴Neuroscan公司的64导电极帽(Ag-AgCl电极，根据国际10-20系统分布)用于对脑电信号的采集，坐在立体显示器前3倍显示器高度处，并带有与偏光式显示器配套的偏光式立体眼镜。本专利技术使用的脑电采集设备的采样频率设置为1000Hz，低通截止频率为100Hz，高通截止频率为0.05Hz选择右侧乳突电极作为参考电极，实验过程同时记录水平眼电、垂直眼电和相应的行为数据。实验前注射导电膏，使电极电阻小于5千欧。EEG实验流程图如图4所示，首先在屏幕中心呈现白色圆点，使被试双眼的注意力集中在屏幕上，呈现时间为1s本文档来自技高网...

【技术保护点】
一种基于EEG对立体视频不同视差位置字幕舒适度评价方法，包括下列步骤：1)选取背景分别在屏幕内与屏幕外的立体图像，并在与背景相对视差0.2°、0.4°、0.6°、0.8°与1°位置添加立体字幕，将实验素材分为5个等级。2)设计用于被试主观评价时进行打分的主观评分表。视观看舒适程度的而不同将立体字幕观看舒适度分为5个等级，分别为非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差，对应分值为1分、2分、3分、4分、5分。3)设计主观实验获取被试对背景在屏内外的各个等级立体字幕实验素材的主观评价结果。4)设计EEG实验，并记录各个立体字幕实验素材的刺激下被试的脑电信号，按照3.5分的标准将各个等级的立体字幕实验素材划分成舒适与不舒适两类，即将脑电信号分成两类。5)对实验获取的EEG信号做预处理，去除噪声干扰。6)对预处理后的EEG信号提取频域特征，使用舒适和不舒适两种对EEG信号进行分类，用Fisher比率法进行数据降维，最后用SVM分类器对其分类并预测。

【技术特征摘要】
1.一种基于EEG对立体视频不同视差位置字幕舒适度评价方法，包括下列步骤：1)选取背景分别在屏幕内与屏幕外的立体图像，并在与背景相对视差0.2°、0.4°、0.6°、0.8°与1°位置添加立体字幕，将实验素材分为5个等级。2)设计用于被试主观评价时进行打分的主观评分表。视观看舒适程度的而不同将立体字幕观看舒适度分为5个等级，分别为非常舒适、舒适、一般舒适、舒适性较差、舒适性非常差，对应分值为1分、2分、3分、4分、5分。3)设计...

【专利技术属性】
技术研发人员：沈丽丽，刘海鹏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12