【技术实现步骤摘要】
本专利技术涉及图像处理和质量评价领域，具体涉及一种基于统计特征分析的高鲁棒性虚实融合视频压缩损伤检测方法。
技术介绍
1、压缩编码技术可以有效降低视频信号的传输带宽和存储资源。然而，压缩编码过程采用不同步长进行量化，会难以避免地引入块效应、伪轮廓、模糊等损伤，不同程度地干扰画面的整体质量并影响用户观看体验。由此可见，设计一种可以自动评估给定视频压缩损伤程度的画质预测系统，对于协助优化视频中心编解码参数、保障广大用户观看体验具有重要作用。
2、另一方面，虚实融合制作通过绿幕、led大屏、渲染服务器等新型演播室内容制作设备及配套系统，将虚拟场景和摄像机实拍场景无缝融合，正在给人们提供更为新奇、更加美好的视觉体验。现阶段，虚实融合已经被广泛应用于体育赛事、新闻、娱乐综艺等内容制作领域。
3、因此，有必要设计一种能够针对虚实融合制作内容的压缩损伤程度检测系统，将原本面向传统制作(或成为自然场景)的压缩损伤检测方法扩展至虚实融合场景，从而响应高新视频技术的发展需求，并更为全面的保障广大用户的观看体验。然而，这种有自然场景至虚实融合场景的应用范畴扩展面临着许多挑战：
4、其一，压缩损伤检测方法的泛化能力问题。现有的压缩损伤评估方法方法多遵从预训练-端到端精调的设计范式，即利用从语义识别等其他任务上已预训练好的模型作为骨干网络，对其特征输出头进行调整，随后在相应的视频压缩损伤数据库上进行端到端的精调。这种端到端精调的训练范式实际上是将压缩损伤程度的高低看作一种额外的语义类别，缺乏可解释性，这导致其跨数据库的
5、其二，虚拟场景和自然场景的特性差异问题。虚实融合内容的虚拟部分多通过计算机渲染制作，其虚拟场景本身的特性(如纹理、平滑程度、光照分布、色彩等)和摄像机实拍的自然场景有明显区别，如图1所示。这种差异导致原本面向自然场景数据库、通过端到端精调训练所得的压缩损伤程度检测模型并不能够面向虚拟场景时取得良好的检测效果。而专门建立一个面向虚实融合内容的数据库需耗费庞大人力物力，且随着虚实融合制作技术不断发展，所构建数据库也不能完全反映所有虚拟内容的特点。例如，传统基于绿幕所构建的虚实融合素材并不能反映基于led大屏进行xr制作的内容特点，而ue4、ue5、unity等不同引擎、不同插件和渲染方法所设计素材也有差异。
6、其三，智能检测模型的兼容性和鲁棒性问题。随着ai智能化的发展，虚实融合制作过程中经常使用物体识别、图像分割等针对语义信息进行处理的深度视觉模型。若要按照端到端精调的范式设计损伤程度检测模型，则再过程中，原本面向如语义识别等任务的权重参数逐步被转移到图像质量评价任务，且该过程是不可逆的，即训练后的网络不再具有良好的语义识别能力。这导致我们必须建立两个骨干参数不同得骨干网络以分别用于损伤程度检测和其他语义相关的ai任务。由此可见，这种方式并不具有良好的兼容性，难以利用一个统一的骨干网络兼容性地实现损伤程度检测和其他语义相关智能任务。此外，实际应用过程中经常会发生骨干网络的更换或迭代以提升语义相关智能任务的精度，如将vgg模型更换为resnet、vit、swin-transformer等，哪怕是相同的模型架构，也可能会将其预训练参数由pytorch源更换至huggingface源。此时，若采用上述端到端精调的方式，每次骨干网络架构或预训练参数的更换，都要重新训练一次质量评价模型。
7、本专利技术深入分析上述问题，认为产生这些局限性的根源在于压缩损伤的判别需要质量相关特征，而现有深度视觉模型多提供语义相关特征，且现有方法多通过黑箱式的端到端精调方法将语义特征迁移为质量特征，但这实际上缺乏可解释性，导致其泛化能力很低，难以实现跨场景(自然场景、虚拟场景)、跨模型(如pytorch给出的resnet模型和huggingface给出的resnet模型)的质量损伤检测。一个极端情况举例如下：若训练数据库中压缩损伤严重的图像多为快速跑动的“狗”，而压缩程度轻微的图像多为相对静态的“猫”，则经过上述端到端的精调训练后，检测模型倾向于对语义类别属于“狗”的图像给出较低评分而属于“猫”的图像给出较高评分，无论这些图像真实压缩程度到底是高还是低。
技术实现思路
1、结合上述分析，本专利技术提供了一种基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测方法，可以针对给定视频图像信号鲁棒性地提取其压缩损伤相关特征，且这种特征提取方法无论针对自然场景还是虚拟场景都是有效的。基于这种特征提取方法，本专利技术使用传统自然场景的压缩损伤数据库进行训练，构建轻量级的压缩损伤检测模型，由于其特征是场景无关的，所训练的轻量级模型面向虚实融合内容取得良好的预测效果，而不会像传统的质量检测模型那样存在明显的跨场景性能限制问题。
2、一种基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测方法，包括以下步骤：
3、步骤1：将待处理视频各帧进行数据预处理，得到尺度特征s(i)集合{s(i)}和尺度重排特征集合根据重排特征集合计算得到协方差矩阵e(i)集合{e(i)}；
4、步骤2：通过逐通道高斯卷积，得到尺度特征s(i)的邻域平均特征并进行重排，得到重排后的邻域平均的高维特征通过矩阵二次型分析和的能量差异，得到能量分布eng(i)；
5、步骤3：通过矩阵二次型分析与的局部偏离程度与局部偏差方向，得到偏离程度矩阵和符号矩阵sign(i)，结合步骤2计算的能量分布eng(i)，得到归一化系数norm(i)；
6、步骤4：通过分析尺度特征集合{s(i)}中相邻两个尺度特征s(i)和s(j)的能量差异，计算跨层次能量分布distr(i,j)；
7、步骤5：将步骤2得到的能量分布eng(i)、步骤3得到的归一化系数norm(i)、步骤4得到的跨层次能量分布distr(i,j)进行多层次特征拼接，得到融合特征ft；
8、步骤6：构建预测模型，以步骤5获得的融合特征ft作为输入，采用自然场景训练集对预测模型进行训练，得到压缩损伤程度预测模型；
9、步骤7：将虚实融合场景上的待检测视频各帧输入到压缩损伤程度预测模型中，得到虚实融合视频序列的整体压缩损伤程度。
10、步骤1中，将待处理视频各帧进行数据预处理，得到各尺度特征集合{s(i)}和各尺度重排特征集合具体包括：
11、以待处理视频各帧为输入，送入深度视觉模型，提取各层次深度视觉特征，记第i层次上的深度视觉特征为尺度特征s(i)，其中ci,hi,wi分别表示s(i)的通道数、高度、宽度，所有层次上的尺度特征组成各尺度特征集合{s(i)}；
12、将尺度特征s(i)按照样本量ni＝hiwi和维度为ci进行重新排列，得到重排特征所有层次上的重排特征组成各尺度重排特征集合
13、步骤2中，通过矩阵二次型分析和的能量差异，得到能量分布eng(i)，具体包括：
14、通过矩阵二次型计算，分别将和融合为高度本文档来自技高网...
【技术保护点】
1.一种基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤1中，将待处理视频各帧进行数据预处理，得到各尺度特征集合{S(i)}和各尺度重排特征集合具体包括：
3.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤2中，通过矩阵二次型分析和的能量差异，得到能量分布Eng(i)，具体包括：
4.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤3中，通过矩阵二次型分析与的局部偏离程度与局部偏差方向，得到偏离程度矩阵和符号矩阵Sign(i)，结合步骤2计算的能量分布Eng(i)，得到归一化系数Norm(i)，具体包括：
5.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤4中，通过分析尺度特征集合{S(i)}中相邻两个尺度特征S(i)和S(j)的能量差异，计算跨层次
6.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤7中，虚实融合视频序列的整体压缩损伤程度通过以下公式计算；
...【技术特征摘要】
1.一种基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤1中，将待处理视频各帧进行数据预处理，得到各尺度特征集合{s(i)}和各尺度重排特征集合具体包括：
3.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，步骤2中，通过矩阵二次型分析和的能量差异，得到能量分布eng(i)，具体包括：
4.根据权利要求1所述的基于统计特征分析的高鲁棒性虚实融合制作内容压缩损伤检测系统，其特征在于，...
【专利技术属性】
技术研发人员：马小雨，朱近赤，俞定国，刘畅，王娇娇，
申请(专利权)人：浙江传媒学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。