基于脑电信号和时空失真的视频质量评价方法技术

本发明专利技术公开了一种基于脑电信号和时空失真的视频质量评价方法，主要解决现有技术没有充分考虑人类视觉特性，导致客观视频质量评价结果与人类主观感知不一致的问题，本发明专利技术步骤为：(1)生成模拟水面波动视频；(2)生成时空失真视频；(3)采集连续脑电信号和主观评价；(4)计算主观评价检测率；(5)对脑电信号进行分段；(6)对分段后的脑电信号进行分类；(7)计算脑电信号分类准确率；(8)评价时空失真视频质量。本发明专利技术采集不同时空失真视频对应的脑电信号作为评价依据，具有视频质量评价结果与人类主观评价更加一致，评价结果更加准确的优点。

【技术实现步骤摘要】
基于脑电信号和时空失真的视频质量评价方法
本专利技术属于图像处理
，更进一步涉及图像视频质量评价
中的一种基于脑电信号和时空失真的视频质量评价方法。本专利技术可用于对观察视频过程中采集的脑电信号和主观评价进行分析，得到与视频质量相对应的质量评价。
技术介绍
电子产品的普及与视频播放平台等视频流媒体的发展使得视频成为人们日常生活中获取信息与交流信息的重要手段，人们对视频质量的要求也在不断提高。在视频技术被广泛应用的现在，视频的感知质量是比较各种数字图像处理算法性能优劣及评价视觉体验的重要指标。因此，为了获得满意的视觉效果，对视频质量进行评价成为一个广泛而基本的问题。天津大学在其申请的专利文献“一种基于梯度相似性标准差的视频质量评价方法”(专利申请号：201610891465.X，授权公告号：CN106412571B)中公开了一种基于梯度相似性标准差的视频质量评价方法。该方法首先通过参考视频当前帧与前两帧的帧差以及失真视频当前帧与前两帧的帧差来计算视频帧差的梯度相似度矩阵，并以此来模拟视觉系统的时域变化；然后计算参考帧与失真帧的梯度相似度矩阵来获取当前帧的空域失真程度；最后根据当前帧的时域失真程度及空域失真程度计算视频序列的质量，对于视频的时域失真和空域失真均能够有较好的评价性能。该方法存在的不足之处在于，评价过程与人脱离，所构建的失真程度算法不能代表人眼接收并感知视频的过程，评价的结果不能更好地符合主观评价结果。西安电子科技大学在其申请的专利文献“基于脑电信号的失真图像质量感知评价方法”(专利申请号：201710739765.0，授权公告号：CN107609492B)中公开了一种基于脑电信号的失真图像质量感知评价方法。该方法首先选取不同失真程度的视频，在被试者观看视频的同时提取被试者的脑电信号，利用支持向量机分类器对脑电信号进行整理分类，得到图像质量评价的结果，使得评价结果与人的感知结果更加符合。但是，该方法仍然存在的不足之处在于，仅考虑了视频的失真程度，没有考虑时域失真对被试者的脑电产生的影响，从而导致评价的结果不准确，因此需要进一步的完善。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提出一种基于脑电信号和时空失真的视频质量评价方法，用于解决视频质量评价方法中存在的局限性与不确定性，造成对视频质量评价的结果不准确的问题。实现本专利技术目的的具体思路是，针对现有视频质量评价方法中存在的局限性与不确定性，造成对视频质量评价的结果不准确的问题，通过生成具有时域失真和空域失真的视频，采集被试者的脑电信号和主观评价，利用支持向量机分类器进行整理分类，将主观评价的检测率与脑电信号的分类准确率映射成一一对应的曲线，得到与人的主观感知更符合的视频质量评价结果。本专利技术的具体步骤如下：(1)生成模拟水面波动视频：(1a)选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素；(1b)利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150；(2)生成时空失真视频：(2a)利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第帧至第帧和第帧至第帧的图像进行失真处理，得到10个时空失真视频；(2b)为每个时空失真视频设置与其唯一对应的标签，每个标签包含用于表示每个时空失真视频失真参数和失真帧数的符号；(3)采集连续脑电信号和主观评价：(3a)选取至少10位被试者，将每个时空失真视频对每位被试者重复播放m次，m≥40；利用脑电信号采集器，采集每位被试者在观看每个时空失真视频的过程中产生连续的脑电信号；(3b)被试者每观看一个时空失真视频后，记录该被试者是否观察到失真的主观评价；(4)利用检测率公式，计算每个时空失真视频所有播放次数的主观评价的检测率；(5)对脑电信号进行分段：(5a)对每个时空失真视频的脑电信号进行基线校正；(5b)使用巴特沃兹三阶滤波器，对每个基线校正后的脑电信号进行滤波；(5c)以每个时空失真视频开始播放后5秒的时长为间隔，对每个滤波后的脑电信号进行分段，得到分段后的脑电信号；(6)对分段后的脑电信号进行分类：(6a)将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，通过降维处理将矩阵转换成由64个通道、每个通道有10个采样点组成的特征矩阵；(6b)将所有的特征矩阵输入到支持向量机分类器中，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有的分段后脑电信号进行分类；(7)利用准确率公式，计算每个时空失真视频对应的所有脑电信号的分类准确率；(8)评价时空失真视频质量：(8a)将每个时空失真视频的检测率与分类准确率映射成一一对应的曲线；(8b)在曲线上找到每个时空失真视频对应的点，得到表示每个时空失真视频质量分值的检测率值和准确率值。与现有技术相比，本专利技术具有以下优点：第一，本专利技术对所采集与视频质量相对应的脑电信号和主观评价结果，通过构造主观评价的检测率和脑电信号分类准确率一一映射的曲线，得到表示每个时空失真视频质量分值的检测率值和准确率值。克服了现有技术中对自然图像的视频质量评价过程与人脱离，所构建的失真程度算法不能代表人眼接收并感知视频的过程，评价的结果不能更好地符合主观评价结果的问题，使得本专利技术具有在客观评价视频质量时更加符合人类主观感知的优点。第二，本专利技术在提取人类的脑电信号时，采用具有时空失真的视频，克服了现有技术中仅考虑图像的失真程度，没有考虑时域失真对被试者的脑电产生的影响，从而导致评价的结果不准确的问题，使得本专利技术在视频质量评价中具有充分考虑人类视觉特性，评价结果更为准确的优点。附图说明图1为本专利技术的流程图；图2为本专利技术用于仿真实验的棋盘格图像；图3为本专利技术的检测率与准确率一一映射曲线图。具体实施方式下面结合附图，对本专利技术做进一步的详细描述。参照附图1，对本专利技术实现的步骤做进一步的详细描述。步骤1，生成模拟水面波动视频。选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素。水波波纹的自然图像纹理简单，可避免生成的模拟水面波动视频内容对视频质量感知产生影响。将带有水波波纹的自然图像裁切为140像素×140像素的水纹方格，与纯白方格相间排列，水纹方格与水纹方格彼此不相邻，纯白方格与纯白方格彼此不相邻，得到一幅嵌入水纹方格的棋盘格图像。利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点本文档来自技高网...

【技术保护点】
1.一种基于脑电信号和时空失真的视频质量评价方法，其特征在于，采集被试人在观看时空失真视频时产生的脑电信号和主观评价，将脑电信号的分类准确率与主观评价的检测率映射成一一对应的曲线；该方法的具体步骤包括如下：/n(1)生成模拟水面波动视频：/n(1a)选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素；/n(1b)利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150；/n(2)生成时空失真视频：/n(2a)利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第

【技术特征摘要】
1.一种基于脑电信号和时空失真的视频质量评价方法，其特征在于，采集被试人在观看时空失真视频时产生的脑电信号和主观评价，将脑电信号的分类准确率与主观评价的检测率映射成一一对应的曲线；该方法的具体步骤包括如下：
(1)生成模拟水面波动视频：
(1a)选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素；
(1b)利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150；
(2)生成时空失真视频：
(2a)利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第帧至第帧和第帧至第帧的图像进行失真处理，得到10个时空失真视频；
(2b)为每个时空失真视频设置与其唯一对应的标签，每个标签包含用于表示每个时空失真视频失真参数和失真帧数的符号；
(3)采集连续脑电信号和主观评价：
(3a)选取至少10位被试者，将每个时空失真视频对每位被试者重复播放m次，m≥40；利用脑电信号采集器，采集每位被试者在观看每个时空失真视频的过程中产生连续的脑电信号；
(3b)被试者每观看一个时空失真视频后，记录该被试者是否观察到失真的主观评价；
(4)利用检测率公式，计算每个时空失真视频所有播放次数的主观评价的检测率；
(5)对脑电信号进行分段：
(5a)对每个时空失真视频的脑电信号进行基线校正；
(5b)使用巴特沃兹三阶滤波器，对每个基线校正后的脑电信号进行滤波；
(5c)以每个时空失真视频开始播放后5秒的时长为间隔，对每个滤波后的脑电信号进行分段，得到分段后的脑电信号；
(6)对分段后的脑电信号进行分类：
(6a)将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，通过降维处理将矩阵转换成由64个通道、每个通道有10个采样点组成的特征矩阵；
(6b)将所有的特征矩阵输入到支持向量机分类器中，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有的分段后脑电信号进行分类；
(7)利用准确率公式，计算每个时空失真视频对应的所有脑电信号的分类准确率；

【专利技术属性】
技术研发人员：何立火，蔡虹霞，孙羽晟，柯俊杰，高新波，路文，甘海林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61