【技术实现步骤摘要】
本专利技术涉及卡通视频质量评估，具体来说是一种卡通视频质量的盲评估方法。
技术介绍
1、视频质量评估(vqa)是计算机视觉和图像处理领域的基础研究课题之一，目的是通过模拟人类视觉感知来评估视频的视觉质量人类视觉感知。近年来，虽然已经提出了许多稳定且高效的vqa算法，但它们主要针对于自然视频，由于自然视频与卡通视频存在明显的差异，导致这些算法并不适用于卡通视频。只有少数的研究是集中在非自然视频，例如计算机图形(cg)、虚拟视频以及屏幕内容视频等。
2、在过去的几十年里，随着卡通视频行业的快速发展，出现了许多不同品质的卡通视频。此外，卡通视频的质量可能会在制作、压缩、存储和运输过程中发生变化。因此，为了处理、评价卡通视频以及促进卡通视频行业的发展，针对于卡通视频的质量评估算法变得越来越重要。
3、客观vqa方法，根据依靠参考视频的程度，其可以分为全参考、部分参考及无参考三种类型。但由于实际应用中缺乏参考视频进行对比的局限性，全参考和部分参考方法并不适用，因此无参考客观vqa(nr-vqa)方法具有更大的研究价值与意义。基于失真类型的先验知识，nr-vqa模型可以进一步分为特定失真类型和通用类型两种类型。特定失真类型是为已知失真设计的，例如压缩、块和模糊伪影、低比特率、噪声和低对比度。相反，通用的nr-vqa方法不考虑特定的失真类型，并为通用质量建模提供不同的策略，如传统的手工统计特征和基于学习的算法。基于学习的算法可以提取到高层次、高区分性的特征，能够更好地使客观评价结果与主观评价结果到达一致，在vqa问题研
4、对于卡通这种特定类型视频仍然缺乏大规模的标记数据集，这可能导致模型训练过拟合或泛化能力差。目前并没有针对卡通视频的视频质量无参考评估装置，而现存的无参考vqa评估算法并不能有效用于卡通视频的质量评估。
技术实现思路
1、本专利技术的目的是为了解决现有技术中卡通视频评估方法可靠性差的缺陷，提供一种卡通视频质量的盲评估方法来解决上述问题。
2、为了实现上述目的，本专利技术的技术方案如下：
3、一种卡通视频质量的盲评估方法，包括以下步骤：
4、原卡通视频和对应失真视频的获取和预处理：获取原卡通视频和对应失真视频帧，并进行预处理；
5、构建卡通视频质量盲评估模型：基于边缘线条质量感知模块、时空特征质量感知模块和纹理特征质量感知模块，构建出自监督学习框架和盲评估模块；
6、卡通视频质量盲评估模型的预训练：输入原卡通视频和对应失真视频对卡通视频质量盲评估模型进行自监督预训练，保存预训练好的模型提取卡通视频的边缘线条、时空和纹理质量特征；
7、具有真实质量标签卡通视频和待评估卡通视频的获取和预处理；
8、卡通视频质量的盲评估结果的获得：将预处理后的具有真实质量标签卡通视频输入预训练后的卡通视频质量盲评估模型，对卡通视频质量盲评估模型进行微调，保存用于卡通视频质量的评估；将预处理后的待评估卡通视频输入微调后的卡通视频质量盲评估模型获得卡通视频质量的盲评估结果。
9、所述的原卡通视频和对应失真视频的获取与预处理包括以下步骤：
10、原卡通视频通过失真增强策略生成对应失真视频，即对原卡通视频通过人为合成失真生成不同类型不同程度的对应失真卡通视频；
11、将输入的原卡通视频和对应失真视频进行抽帧，对整个卡通视频进行均匀抽帧；
12、将卡通视频帧in，n＝(1,2,..,n),n为输入卡通视频帧的总数目，裁剪为统一分辨率，设为h×w，则输入视频帧总大小为n×3×h×w，3代表rgb三个通道。
13、所述的构建卡通视频质量盲评估模型包括以下步骤：
14、设定边缘线条质量感知模块；
15、设定时空特征质量感知模块；
16、设定纹理特征质量感知模块；
17、设计针对于卡通视频的多任务自监督学习框架：
18、利用边缘线条质量感知模块、时空特征质量感知模块和纹理特征质量感知模块，计算输入原卡通视频和其失真视频的时空特征差异边缘特征差异纹理特征差异具体公式如下：
19、
20、
21、
22、其中，和表示从输入原卡通视频分别提取的时空、边缘和纹理特征，和表示从输入失真卡通视频分别提取的时空、边缘和纹理特征；
23、将边缘相似性测量作为针对边缘的自监督预训练的辅助任务，通过边缘特征差异使模型关注于输入卡通视频的边缘信息；
24、构造预测头结构fpred用于辅助任务，预测头结构fpred为通过一个卷积核1×1×1的conv3d卷积层，再通过gelu激活函数处理，再经过一个卷积核1×1×1的conv3d卷积层，最后使用全局平均池化gap处理；
25、对于纹理特征的自监督预训练的辅助任务，使用纹理复杂度计算任务，通过预测结构来计算纹理复杂度其公式如下：
26、
27、对于时空特征的自监督预训练的辅助任务，使用失真类型及失真程度判断、帧速类型预测三个任务：
28、对于失真类型和失真程度判断任务，分别通过预测头结构和来预测失真类型的概率及失真程度
29、对于帧速类型预测，使用通过预测头结构来预测帧速类型的概率其公式如下：
30、
31、
32、
33、其中t和r分别代表的是失真类型总数及帧速类型的总数；
34、设定对于卡通视频质量的盲评估模块：
35、通过设定边缘线条质量感知模块、设定时空特征质量感知模块和设定纹理特征质量感知模块提取输入卡通视频的fedge、fs-t以及ftexture进行串联融合，得到表示卡通视频质量的最终特征ffusion，其大小为公式如下：
36、ffusion＝concat(fedge,fs-t,ftexture)； (7)
37、利用式(8)将ffusion映射为输入卡通视频的质量分数score，具体公式如下：
38、score＝fout(ffusion)， (8)
39、其中，fout表示质量预测模块，先通过一个卷积核为1×1×1的conv3d卷积网络深度提取卡通视频质量敏感特征，再通过gelu激活函数和一个卷积核为1×1×1的conv3d卷积网络预测质量分数，最后利用全局平均池化gap处理得到最终的卡通视频质量分数。
40、所述的卡通视频质量盲评估模型的预训练包括以下步骤：
41、将输入原卡通视频和对应失真视频输入卡通视频质量盲评估模型进行训练；
42、对于失真程度预测辅助任务以及纹理复杂度计算辅助任务，通过排名损失来作为失真程度预测及纹理复杂度计算的损失函数l1,l2，公式如下：...
【技术保护点】
1.一种卡通视频质量的盲评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的原卡通视频和对应失真视频的获取与预处理包括以下步骤：
3.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的构建卡通视频质量盲评估模型包括以下步骤：
4.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的卡通视频质量盲评估模型的预训练包括以下步骤：
5.根据权利要求3所述的一种卡通视频质量的盲评估方法，其特征在于，所述的设定边缘线条质量感知模块包括以下步骤：
6.根据权利要求3所述的一种卡通视频质量的盲评估方法，其特征在于，所述的设定时空特征质量感知模块包括以下步骤：
7.根据权利要求3所述的一种卡通视频质量的盲评估方法，其特征在于，所述的设定纹理特征质量感知模块包括以下步骤：
8.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述卡通视频质量的盲评估结果的获得包括以下步骤：
【技术特征摘要】
1.一种卡通视频质量的盲评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的原卡通视频和对应失真视频的获取与预处理包括以下步骤：
3.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的构建卡通视频质量盲评估模型包括以下步骤：
4.根据权利要求1所述的一种卡通视频质量的盲评估方法，其特征在于，所述的卡通视频质量盲评估模型的预训练包括以下步骤：
5.根据权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。