一种基于感知数据驱动的视频质量评测方法及系统技术方案

本发明专利技术涉及一种基于感知数据驱动的视频质量评测方法，包括如下步骤：步骤S1、构建基于半自动标记的压缩视频数据库；步骤S2、考虑视频视觉显著性的时空特征，构建感知数据驱动的压缩视频质量评价模型，并通过压缩视频数据库进行训练；步骤S3、利用得到的压缩视频质量评价模型对输入的压缩视频进行质量评测。该方法及系统有利于提高在预测压缩视频质量方面的性能。性能。性能。

【技术实现步骤摘要】
一种基于感知数据驱动的视频质量评测方法及系统


[0001]本专利技术涉及视频质量评价领域，尤其涉及一种基于感知数据驱动的视频质量评测方法及系统。

技术介绍

[0002]视频编码技术大大降低了存储容量和传输带宽。然而，对高质量视频的期望与带宽限制之间的冲突是现有编码器面临的棘手问题之一。为在压缩视频的同时保证视频的感知质量，设计针对压缩视频的可靠质量评价方法是必要的。主观视频质量评价(VQA)是对人类感知最准确、最可靠的反映，因为它是由观众评分的质量。然而，主观实验需要花费巨大的时间与人力，可移植性差。因此，建立可靠、客观的VQA评价方法是更具有实际应用的价值。现有的无参考视频质量评价(NR
‑
VQA)算法领域没有足够的数据库支撑深度模型的训练，导致该领域成果较少。

技术实现思路

[0003]本专利技术的目的在于提供一种基于感知数据驱动的视频质量评测方法及系统，该方法及系统有利于提高在预测压缩视频质量方面的性能。
[0004]为实现上述目的，本专利技术采用的技术方案是：一种基于感知数据驱动的视频质量评测方法，包括如下步骤：
[0005]步骤S1、构建基于半自动标记的压缩视频数据库；
[0006]步骤S2、考虑视频视觉显著性的时空特征，构建感知数据驱动的压缩视频质量评价模型，并通过压缩视频数据库进行训练；
[0007]步骤S3、利用得到的压缩视频质量评价模型对输入的压缩视频进行质量评测。
[0008]进一步地，所述步骤S1具体实现如下：
[0009]步骤S11、筛选建库视频；收集多个分辨率分别为1280
×
720,1920
×
1080的参考视频作为原始视频，视频内容覆盖包括动物、建筑、人类、运动、植物和风景的多种场景；
[0010]步骤S12、计算原始视频的空间感知信息SI与时间感知信息TI，定义如下：
[0011][0012][0013]其中，Frame
t
代表第t帧视频图像，Sobel()表示Sobel滤波操作，std()表示计算标准差；
[0014]以SI为横轴，TI为纵轴，画出原始视频的SI
‑
TI分布图，若坐标点近似均匀分布在坐标图中，代表建库的原始视频的细节信息丰富，否则重新构建视频数据库；
[0015]步骤S13、构建压缩视频数据库CVSAR；针对每一个视频，使用VVC、AVS3、HLVC这三种编码器分别压缩出4个质量差异明显的视频，共得到1560个视频；VVC的量化步长Q
step
＝{32,37,42,47}，AVS3压缩的Qp值为{39,45,51,57}，HLVC压缩参数lambda＝{256，512，
1024，2048}；其中，Q
step
是压缩视频的量化步长，Qp值为压缩视频量化步长的序号，lambda为控制质量等级的超参数；
[0016]步骤S14、为了获得所构建的压缩视频数据库的iMOS值分布，针对130个原始视频分别选取经过三种编码器压缩后产生的视频，从而构成由390个测试视频组成的测试视频库，按照ITU
‑
RBT.500
‑
13建议书采用DSIS评分方式进行测试以获得平均意见得分iMOS；
[0017]得到参与测试的视频对应的iMOS之后，根据以下公式计算剩下1170个视频的iMOS值；
[0018][0019]其中，α是待估计的参数，将未压缩的视频质量标准化为1，iMOS是对应的主观分数，Q
step
为三种编码器的压缩参数；给定参数α，由参与测试的视频的iMOS值进行推导，从而快速获取一组压缩视频的质量分数，减小建库成本。
[0020]进一步地，所述步骤S2具体实现如下：
[0021]步骤S21、数据预处理；首先，以每半秒为单位进行子序列截取，即隔每半秒提取连续16帧作为子序列；然后，利用DSS网络对每一个子序列进行显著性检测；将每一个子序列的显著性区域按照224
×
224的大小切割为小立方体，并舍弃显著性区域占比低于50％的小立方体；
[0022]步骤S22、特征提取；使用I3D网络作为特征提取器提取特征，将I3D网络中的最后两个Inception Module之后嵌入通道注意力模块，引入Loss
cube
作为改进的I3D网络的训练损失，网络学习率设置为0.001，共训练300轮；同时利用混合池化增强特征，经过I3D网络后，每个小立方体获得一个1
×
1024维的特征向量，通过混合池化方法得到特征；定义如下：
[0023]F
avg
＝AvgPool(F)；shape＝(1；1024)
[0024]F
max
＝MaxPool(F)；shape＝(1；1024)
[0025]F
seq
＝(F
avg
；F
max
)；shape＝(1；2048)
[0026]其中，F
avg
和F
max
分别是按照特征图F的第一维度执行均值池化、最大值池化的结果；接着，将两个特征向量直接拼接成一个更具代表性的特征向量F
seq
；
[0027]Loss
cube
定义如下：
[0028][0029]其中，QC
pred
(i)代表模型预测第i个立方体的分数，QC
label
(i)代表第i个立方体的主观感知分数，N表示输入立方体的数量；
[0030]步骤S23、质量回归；使用Transformer中的Encoder学习语义信息，通过全连接层实现时空特征回归，得到视频的感知质量分数；对于Transformer Encoder，由6个结构相同的Encoder Layers组成，每个Encoder Layers包含一个Self
‑
Attention层和一个前馈神经网络；Self
‑
Attention层是Transformer中的核心，用于学习不同时刻的语义信息对视频质量的贡献程度，并合理分配权重，同时引入Loss
Transformer
作为Transformer网络的训练损失，网络参数设置与上面的网络保持一致；计算方式为：
[0031][0032][0033]其中，是为了将矩阵方差归一化，从而使Transformer在训练过程中的梯度值保持稳定；X代表输入特征矩阵，A、B和C分别是输入特征矩阵线性变化后的结果；
[0034]Loss
Transformer
定义如下：
[0035][0036]其中，Q
pred
(i)表示第i个视频的预测分数，Q
label
(i)表示第i个视频的主观感知分数，M代表输入视频的数量。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知数据驱动的视频质量评测方法，其特征在于，包括如下步骤：步骤S1、构建基于半自动标记的压缩视频数据库；步骤S2、考虑视频视觉显著性的时空特征，构建感知数据驱动的压缩视频质量评价模型，并通过压缩视频数据库进行训练；步骤S3、利用得到的压缩视频质量评价模型对输入的压缩视频进行质量评测。2.根据权利要求1所述的一种基于感知数据驱动的视频质量评测方法，其特征在于，所述步骤S1具体实现如下：步骤S11、筛选建库视频；收集多个分辨率分别为1280
×
720,1920
×
1080的参考视频作为原始视频，视频内容覆盖包括动物、建筑、人类、运动、植物和风景的多种场景；步骤S12、计算原始视频的空间感知信息SI与时间感知信息TI，定义如下：步骤S12、计算原始视频的空间感知信息SI与时间感知信息TI，定义如下：其中，Frame
t
代表第t帧视频图像，Sobel()表示Sobel滤波操作，std()表示计算标准差；以SI为横轴，TI为纵轴，画出原始视频的SI
‑
TI分布图，若坐标点近似均匀分布在坐标图中，代表建库的原始视频的细节信息丰富，否则重新构建视频数据库；步骤S13、构建压缩视频数据库CVSAR；针对每一个视频，使用VVC、AVS3、HLVC这三种编码器分别压缩出4个质量差异明显的视频，共得到1560个视频；VVC的量化步长Q
step
＝{32,37,42,47}，AVS3压缩的Qp值为{39,45,51,57}，HLVC压缩参数lambda＝{256，512，1024，2048}；其中，Q
step
是压缩视频的量化步长，Qp值为压缩视频量化步长的序号，lambda为控制质量等级的超参数；步骤S14、为了获得所构建的压缩视频数据库的iMOS值分布，针对130个原始视频分别选取经过三种编码器压缩后产生的视频，从而构成由390个测试视频组成的测试视频库，按照ITU
‑
RBT.500
‑
13建议书采用DSIS评分方式进行测试以获得平均意见得分iMOS；得到参与测试的视频对应的iMOS之后，根据以下公式计算剩下1170个视频的iMOS值；其中，α是待估计的参数，将未压缩的视频质量标准化为1，iMOS是对应的主观分数，Q
step
为三种编码器的压缩参数；给定参数α，由参与测试的视频的iMOS值进行推导，从而快速获取一组压缩视频的质量分数，减小建库成本。3.根据权利要求1所述的一种基于感知数据驱动的视频质量评测方法，其特征在于，所述步骤S2具体实现如下：步骤S21、数据预处理；首先，以每半秒为单位进行子序列截取，即隔每半秒提取连续16帧作为子序列；然后，利用DSS网络对每一个子序列进行显著性检测；将每一个子序列的显著性区域按照224
×
224的大小切割为小立方体，并舍弃显著性区域占比低于50％的...

【专利技术属性】
技术研发人员：林丽群，何嘉晨，王郑，魏广鹏，赵铁松，
申请(专利权)人：福州大学，
类型：发明
国别省市：