基于脑电信号和时空多尺度联合网络的视频质量评价方法技术

本发明专利技术提出了一种基于脑电信号和时空多尺度联合网络的视频质量评价方法，其实现步骤为：获取不同失真等级的失真视频；采集脑电信号；截取脑电信号片段；用脑电信号片段生成训练样本集；构建时空多尺度联合网络；训练时空多尺度联合网络；采用训练好时空多尺度联合网络对视频质量进行评价。本发明专利技术构建的时空多尺度联合网络能够有效学习到脑电信号特征，解决现有技术中未考虑视频质量感知脑电信号的脑部作用机理和人类视觉的阶段性时域感知特性的问题，使得本发明专利技术具有准确度高的优点，且能够自动批量化处理脑电数据，具有效率高的优点。点。点。

【技术实现步骤摘要】
基于脑电信号和时空多尺度联合网络的视频质量评价方法


[0001]本专利技术属于图像处理
，更进一步涉及图像视频质量评价
中的一种基于脑电信号和时空多尺度联合网络的视频质量评价的方法。本专利技术可用于对观察视频过程中采集的脑电信号进行分析，得到与视频质量相对应的质量评价。

技术介绍

[0002]视频的压缩和不完美传输不可避免地会导致失真，影响人们对视频的观感，因此对视频质量进行评价就成了重要而且普遍的问题。视频的质量评价可以分为客观质量评价和主观质量评价。其中客观质量评价的方法是通过建立模拟人眼感知视频过程的数学模型，得到视频的质量分数。这类方法可以依靠软件实现，且具有可批量处理、结果可复现、处理成本低的优点。然而客观方法计算模型所得到的质量分数能否代表人在现实中观看视频时的感知质量仍没有定论。主观质量评价通常要求被试来判断他们是否能察觉到失真，或对失真的强度进行分级，然而这种方法费时费力，且依赖于主观判断，很容易受被试个体策略与偏见的影响。脑电图作为一种非侵入型电生理设备，可以通过头表电极直接获取反映神经电位活动的脑电信号，进而用于视频质量评价，这是一种既简单又安全可靠的方法。该方法既克服了客观方法无法充分反映主观感知质量的缺点，又克服了主观方法耗时长、成本高的缺点，对获取真实的视频感知质量具有重要的理论意义和实用价值。
[0003]西安电子科技大学在其申请的专利文献“基于脑电信号和时空失真的视频质量评价方法”(专利申请号：CN202010341014.5，授权公告号：CN111510710A)中公开了一种基于脑电信号和时空失真的视频质量评价方法。该方法首先选取了水面波动的时空失真视频，并以此作为视觉激励；然后采集连续脑电信号和主观评价，并计算主观评价检测率；最后对脑电信号进行分段，并对分段后的脑电信号进行分类，计算脑电信号分类的准确率，以此来评价视频质量。该方法虽然具有视频质量评价结果与人类主观评价更加一致，评价结果更加准确的优点，但是该方法存在的不足之处是，该方法通过对脑电信号进行降维处理得到脑电信号的特征，仅考虑到单一尺度脑电信号时域特征，缺乏对脑电信号中表征视觉感知成分的时空域特性的考虑，提取到的特征不够具有代表性，进而影响分类结果，导致质量评价结果不准确。
[0004]清华大学在其发表的论文文献“An EEG
‑
Based Study on Perception of Video Distortion Under Various Content Motion Conditions”中公开了一种基于脑电信号的不同内容运动条件下的视频失真感知研究方法。该方法首先记录受试者观看失真视频时的脑电图信号，根据对脑电图信号的特征分析，选取人类感知视频质量变化引起的P300分量作为人类感知失真的指标；通过基于线性判别分析的分类，发现P300分量的可分性与失真的感知度呈正相关；回归分析结果表明，失真的可感知性与P300成分的可分性之间存在着S型定量关系；基于这种关系利用脑电信号对不同运动速度内容对应的失真感知阈值进行标定。该方法存在的不足之处在于，线性判别分类器是传统的机器学习算法，采用线性判别分析对脑电信号进行分类前需要手动提取脑电信号特征，费时费力，无法高效率处理新采集
的脑电信号。

技术实现思路

[0005]本专利技术目的在于针对上述现有技术的不足，提出一种基于脑电信号和时空多尺度联合网络的视频质量评价的方法，用于解决现有技术中未考虑视频质量感知脑电信号的脑部作用机理和人类视觉的阶段性时域感知特性，导致无法提取有效的特征，进而影响分类结果，质量评价结果不准确的问题，并且解决现有方法中使用传统机器学习需要手动提取特征，效率低下的问题。
[0006]实现本专利技术的具体思路是，针对现有的基于脑电信号的视频质量评价方法中存在的局限性，造成视频质量评价结果不准确的问题，通过生成不同等级的失真视频，采集受试者在观看不同失真等级的失真视频时的脑电信号，截取受试者在观看不同失真等级的失真视频时的脑电信号片段，将脑电信号片段标注生成训练集，利用训练集对构建的时空多尺度联合网络进行训练，再利用训练好时空多尺度联合网络对视频质量进行评价，得到准确率更高的视频质量评价结果。
[0007]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0008](1)获取不同失真等级的失真视频；
[0009](2)采集受试者在观看不同失真等级的失真视频时的脑电信号；
[0010](3)截取受试者在观看不同失真等级的失真视频时的脑电信号片段；
[0011](4)利用脑电信号片段生成训练样本集、测试样本集；
[0012](5)构建时空多尺度联合网络；
[0013](6)训练时空多尺度联合网络；
[0014](7)采用训练好时空多尺度联合网络对视频质量进行评价。
[0015]本专利技术与现有技术相比较，具有以下优点：
[0016]第一，本专利技术针对脑电信号兼具时间和空间上信息的特点，构建了时空多尺度联合网络，对脑电信号的时间和空间上的信息均提取多尺度特征，避免了以往脑电信号视频质量评价模型考虑只到脑电信号时域特征的缺点，使得本专利技术的时空多尺度联合网络能够学习到能够表征视觉感知成分的脑电信号特征，提高了分类准确率，使得本专利技术具有准确度高的优点。
[0017]第二，本专利技术提出的多尺度深度神经网络是一个端到端的模型，输入预处理过后的脑电信号就可以得到视频质量评价的结果，避免了传统方法在对的脑电信号进行分类前需要手动提取特征的缺点，减少了操作的复杂程度，能够自动批量化处理脑电数据，具有效率高的优点。
附图说明
[0018]图1是本专利技术的实现流程图。
[0019]图2是本专利技术构建的多尺度时空特征提取网络的结构示意图。
具体实施方式
[0020]下面结合附图和实施例，对本专利技术作进一步的描述。
[0021]参照图1和实施例，对本专利技术的实现步骤作进一步的描述。
[0022]步骤1，获取不同失真等级的失真视频；
[0023]步骤1.1，本专利技术的实施例选取截取自纪录片《Our Planet 2019》(《我们的星球2019》)中的“Frozen Worlds”(“冰冻世界”)单元，从该单元的31分29秒处开始截取时长为5s共150帧的视频，作为本专利技术实施例的未失真的刺激视频，该视频的分辨率为1928
×
1080；
[0024]步骤1.2，本专利技术的实施例中将MATLAB软件的VideoWriter工具的Quality参数调整为{7,14,20,30,100}，将Quality的五个参数对应五个表示不同失真等级的失真参数，其中失真参数等于100时表示未失真；
[0025]步骤1.3，将150帧的未失真刺激视频输入到MATLAB软件中，利用VideoWriter工具，输出150帧中第60帧到第89帧图像压缩后的失真视频刺激，得到失真参数下对应的5个时空失真视频作为失真刺激视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑电信号和时空多尺度联合网络的视频质量评价方法，其特征在于，根据失真刺激视频对应的脑电信号片段生成训练集、测试集，构建并训练多尺度时空特征提取网络；该评价的方法包括步骤如下：步骤1，生成不同失真等级的失真视频；选取一段时长至少为4s、帧率为30帧/秒的自然视频作为刺激视频，利用5个表示不同失真程度的失真等级，对该刺激视频进行失真处理，得到不同失真等级的失真视频；步骤2，采集受试者在观看不同失真等级的失真视频时的单次脑电信号：通过脑电信号采集器，采集至少8位受试者重复至少30次观看每个视失真视频的单次脑电信号，采样频率为1000Hz，采样通道数为64；步骤3，截取受试者在观看不同失真等级的失真视频时的脑电信号片段：通过截止频率的下限在0.2
‑
0.5Hz之间和在上限5
‑
30Hz之间的带通滤波器，对采集到的单次脑电信号进行带通滤波，得到带通滤波后的单次脑电信号，并截取时长在800
‑
1200ms之间的单次脑电信号片段；步骤4，利用单次脑电信号片段生成训练集和测试集：从脑电信号片段集中选取至少75％的脑电信号片段作为训练集，将剩余的脑电信号片段作为测试集，并将训练集和测试集中的脑电信号片段进行标注，其中训练集用于训练时空多尺度联合网络，测试集作为训练好网络的输入进行失真预测；步骤5，构建时空多尺度联合网络：搭建一个由时空多尺度特征提取子网络和时空多尺度特征融合子网络串联而成的时空多尺度联合网络，其中时空多尺度特征提取子网络由时域特征提取模块和空域特征提取模块并联而成；步骤5.1，搭建一个时域特征提取模块，该时域特征提取模块由两个子模块串联而成，第一个子模块包含三个并联的双向LSTM层，第二个子模块的结构依次由特征拼接层，BN层，全连接层，ReLU激活层串联而成；步骤5.2，搭建一个空域特征提取模块，该空域特征提取模块由两个子模块串联而成，第一个子模块由三个卷积层并联组成，第二个子模块的结构依次为：特征拼接层，BN层，全连接层，ReLU激活层串联而成；步骤5.3搭建一个时空多尺度特征融合子网络，其结构依次为：特征拼接层，全连接层，ReLU激活函数层，Dropout层，全连接层；步骤6，训练时空多尺度联合网络：对时空多尺度联合网络的参数初始化后，将训练...

【专利技术属性】
技术研发人员：何立火，陈欣雷，孙羽晟，王笛，高新波，李洁，路文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：