一种基于生成对抗网络的无参考视频质量评价方法及装置制造方法及图纸

本发明专利技术提供一种基于生成对抗网络的无参考视频质量评价方法，其无需原始视频信息，方法简单，适用范围广，且分类准确率高。首先利用生成对抗网络恢复失真视频帧块的分辨率，然后将失真视频帧块和与其对应的复原的视频帧块的显著图作为输入送入到视频质量评价网络，对失真视频帧块的质量进行评价。同时本发明专利技术还公布了一种基于生成对抗网络的无参考视频质量评价装置。

A reference free video quality evaluation method and device based on generative countermeasure network

【技术实现步骤摘要】
一种基于生成对抗网络的无参考视频质量评价方法及装置
本专利技术涉及图像处理
，具体为一种基于生成对抗网络的无参考视频质量评价方法及装置。
技术介绍
在视频的获取、存储、处理、传输过程中，会因为镜头精度不够、视频压缩、传输中数据丢失等等原因导致视频质量损失，进而导致最终得到的视频失真。技术人员为了让用户看到高质量的视频，通常会先对获得的视频质量进行评价，然后根据视频质量评价的结果对编码器、传输信道等等硬件参数进行调整。现有的对视频质量评价方法分为全参考型、部分参考型、无参考型。全参考型和部分参考型评价方法都需要额外的带宽来传输原始视频及相关信息，而无参考质量评价方法不需要依赖原始视频，更具实用性。现有技术中，很多视频质量评价方法方法是利用卷积神经网络和循环神经网络提取失真视频的空域和时域特征，导致方法比较复杂，比如，目前主流的全参考方法ViS3和无参考方法V-BLIINDS。ViS3：该方法首先估计视频序列在空域内由失真导致的图像退化状况，然后通过度量失真视频和参考视频之间的不相似度估计时域和空域视频质量退化，最后结合上两个本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的无参考视频质量评价方法，其包括以下步骤：/nS1：获取失真视频和原始参考视频，分别抽取所述失真视频、所述原始参考视频的视频帧，得到失真视频帧、原始参考视频帧；将所述失真视频帧、所述原始参考视频帧的格式转换成指定的图片格式；/n其特征在于：/nS2：分别按照指定的像素数将所述失真视频帧、所述原始参考视频帧切块，同时将切块后的失真视频帧按照指定的压缩比率进行压缩，获得失真视频帧块、原始参考视频帧块；/nS3：构建生成对抗网络模型；所述生成对抗网络模型包括：生成网络、判别网络；/n所述生成网络的输入为所述失真视频帧块，通过卷积和上采样得到所述失真视频帧块对应的复原的视频帧块...

【技术特征摘要】
1.一种基于生成对抗网络的无参考视频质量评价方法，其包括以下步骤：
S1：获取失真视频和原始参考视频，分别抽取所述失真视频、所述原始参考视频的视频帧，得到失真视频帧、原始参考视频帧；将所述失真视频帧、所述原始参考视频帧的格式转换成指定的图片格式；
其特征在于：
S2：分别按照指定的像素数将所述失真视频帧、所述原始参考视频帧切块，同时将切块后的失真视频帧按照指定的压缩比率进行压缩，获得失真视频帧块、原始参考视频帧块；
S3：构建生成对抗网络模型；所述生成对抗网络模型包括：生成网络、判别网络；
所述生成网络的输入为所述失真视频帧块，通过卷积和上采样得到所述失真视频帧块对应的复原的视频帧块；
所述判别网络的输入为所述生成网络生成的所述复原的视频帧块；
所述判别网络判断所述复原视频块是否属于参考视频帧块；对于所述判别网络判断为不属于参考视频帧块的所述复原的视频帧块继续输入到所述生成网络中进行复原；
S4：训练所述生成对抗网络模型，得到训练好的所述生成对抗网络模型；
通过所述失真视频帧块训练所述生成网络，得到训练好的所述生成网络；
将所述复原的视频帧块和所述原始参考视频帧块作为输入训练所述判别网络，得到训练好的所述判别网络；
S5：对于所述判别网络判断为属于参考视频帧块的所述复原的视频帧块，获取其显著图，记做复原视频帧块的显著图；
S6:构建并训练视频质量评价网络模型；
所述视频质量评价网络模型的输入为所述失真视频帧块和与其对应的所述复原视频帧块的显著图；
将所述失真视频帧块和与其对应的所述复原视频帧块的显著图进行融合拼接，输入到所述视频质量评价网络模型中，提取融合图的空域特征后，利用所述视频质量评价网络模型中的全连接层预测失真视频帧块的质量分数，得到所述失真视频帧块对应的质量分数；
将所述失真视频帧块和与其对应的所述复原视频帧块的显著图训练所述视频质量评价网络模型，获得训练好的所述视频质量评价网络模型；
S7：将待评价失真视频进行抽帧、切块和压缩，得到所有的待评价失真视频帧块；
将每一个所述待评价失真视频帧块输入到训练好的所述生成对抗网络模型中，获得其对应的复原视频帧块；基于所述复原视频帧块提取待评价显著图；将所述待评价失真视频帧块、所述待评价显著图输入到训练好的所述视频质量评价网络模型中，得到所述待评价失真视频帧块对应的质量分数；
所述待评价失真视频的质量分数为所有的所述待评价失真视频帧块的质量分数的平均值。


2.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：所述生成网络包括3个卷积层、20个残差模块、2个上采样模块；在第一个卷积层和第二个卷积层之间设置20个所述残差模块，在第二个卷积层和第三个卷积层之间设置2个所述上采样模块；每个所述残差模块包括依次连接的2个卷积层，每个所述上采样模块包括依次连接的1个卷积层和1个上采样层；每个卷积层都采用3×3大小的卷积核；
所述判别网络包括依次连接的11个卷积层和2个全连接层；每个卷积层都采用3×3大小的卷积核，所述判别网络中第一个全连接层单元个数设置为512，第二个全连接层单元个数设置为1。


3.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：步骤S4中，训练所述生成对抗网络模型时，网络模型参数初始化设置为：训练批量大小设为10，所述生成网络的损失函数设为均方误差函数，所述判别网络的损失函数设为二分类交叉熵函数。


4.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：所述视频质量评价网络模型包括5个卷积层，2个池化层以及1个全连接...

【专利技术属性】
技术研发人员：桑庆兵，朱泽，殷莹，孙俊，吴小俊，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32