视频质量预测方法、装置、电子设备、存储介质制造方法及图纸

本公开关于一种视频质量预测方法、装置、电子设备、存储介质和计算机程序产品，所述方法包括：获取待预测视频对应的帧集合；帧集合为对待预测视频进行间隔帧采样得到；基于帧集合确定出多个关键帧序列，确定各关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个分支帧间特征得到帧集合对应的整体帧间特征；其中，各关键帧序列包含从帧集合中选取出的至少两个关键帧，且多个关键帧序列对应的关键帧在时序上具有不同稀疏程度；基于帧集合对应的整体帧间特征，得到待预测视频的视觉质量预测结果。采用本方法能够准确定位包含不同类型的低质特征的视频帧以进行分析，有效提升了处理混合低质特征的视频能力。力。力。

【技术实现步骤摘要】
视频质量预测方法、装置、电子设备、存储介质


[0001]本公开涉及互联网
，尤其涉及一种视频质量预测方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]随着多媒体领域的发展，每个用户均可以成为视频内容的生产者，被普通用户生产出来的内容被称为用户生成内容(UGC，User
‑
Generated Content)，与专业生产者所生成的视频内容相比，UGC视频拍摄的状态较差、拍摄设备普通、传输状态不够稳定，需要通过视频质量评估(VQA，Visual Quality Transformer)将客观质量较低的视频筛选出来进行处理。
[0003]由于UGC视频中包含的较多类型低质特征分布于不同的帧，持续时长也存在差异，给视频质量评估任务带来了困难，传统方法是基于传统手工设计的特征对低质特征进行建模，且对视频评估依赖于所有帧的预测结果进行平均，计算复杂度较高，在实际应用场景中也较为受限，视频质量评估任务难度大。

技术实现思路

[0004]本公开提供一种视频质量预测方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中存在视频质量评估任务难度大的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种视频质量预测方法，包括：
[0006]获取待预测视频对应的帧集合；所述帧集合为对所述待预测视频进行间隔帧采样得到；
[0007]基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；其中，各所述关键帧序列包含从所述帧集合中选取出的至少两个关键帧，且多个所述关键帧序列对应的关键帧在时序上具有不同稀疏程度；
[0008]基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果。
[0009]在一种可能实现方式中，所述基于所述帧集合确定出多个关键帧序列，包括：
[0010]获取所述帧集合包含的帧数量和预设稀疏参数；所述预设稀疏参数用于表征从所述帧集合中选取关键帧的最大稀疏程度；
[0011]根据所述帧集合包含的帧数量和所述预设稀疏参数，确定用于获取所述分支帧间特征的分支数量；多个分支中每个分支用于获取在时序上具有一种稀疏程度的关键帧之间的帧间特征相关性，作为所述每个分支对应的分支帧间特征，所述一种稀疏程度小于所述最大稀疏程度；
[0012]从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列。
[0013]在一种可能实现方式中，所述从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列，包括：
[0014]针对每个分支，获取所述每个分支对应的关键帧的稀疏程度；
[0015]根据所述每个分支对应的关键帧的稀疏程度，确定所述每个分支对应的关键帧数量；
[0016]基于所述每个分支对应的关键帧的稀疏程度和所述每个分支对应的关键帧数量，从所述帧集合中选取出与所述关键帧数量对应的关键帧，得到所述每个分支对应的关键帧序列。
[0017]在一种可能实现方式中，所述获取每个分支对应的关键帧的稀疏程度，包括：
[0018]获取所述每个分支在所述多个分支中的序号；
[0019]基于所述每个分支在所述多个分支中的序号以及所述预设稀疏参数，确定所述每个分支对应的关键帧的稀疏程度。
[0020]在一种可能实现方式中，所述确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，包括：
[0021]针对每个关键帧序列，根据所述关键帧序列包含的各关键帧对应的重要程度，确定所述关键帧序列包含的关键帧之间的特征相关性，作为所述关键帧序列对应的分支帧间特征；
[0022]其中，所述各关键帧对应的重要程度为利用注意力机制计算所述帧集合中各帧在注意力图中的重要程度得到。
[0023]在一种可能实现方式中，所述由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：
[0024]将多个所述关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征；
[0025]对所述拼接后的帧间特征进行特征填充，所述特征填充之后的帧间特征所对应的帧数量与所述帧集合包含的帧数量相同；
[0026]基于所述特征填充之后的帧间特征得到所述帧集合对应的整体帧间特征。
[0027]在一种可能实现方式中，所述基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：
[0028]将所述帧集合输入视觉质量预测模型，所述视觉质量预测模型包括多个分支结构，每个分支结构基于所述帧集合确定出一个关键帧序列，并确定所述一个关键帧序列包含的关键帧之间的特征相关性作为所述每个分支结构对应的分支帧间特征，由多个所述分支结构对应的多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；
[0029]所述基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果，包括：
[0030]基于所述视觉质量预测模型的输出信息，确定所述待预测视频的视觉质量预测结果；所述视觉质量预测模型的输出信息为基于所述整体帧间特征确定的。
[0031]在一种可能实现方式中，在所述基于所述视觉质量预测模型的输出信息，确定所述待预测视频的视觉质量预测结果的步骤之前，还包括：
[0032]确定所述帧集合中各帧的帧内特征相关性，基于多帧的帧内特征相关性得到所述帧集合对应的帧内特征；
[0033]确定所述帧集合中各帧的增强特征，基于多帧的增强特征得到所述帧集合对应的帧特征表达；所述各帧的增强特征为对各帧的初始特征进行非线性变换处理得到的特征；
[0034]根据所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息。
[0035]在一种可能实现方式中，所述视觉质量预测模型包含多个堆叠的编码模块；所述根据所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息，包括：
[0036]基于当前编码模块确定所述帧集合对应的整体帧间特征、所述帧内特征以及所述帧特征表达，并将所述当前编码模块确定出的所述整体帧间特征、所述帧内特征、所述帧特征表达，作为所述当前编码模块的下一个编码模块的输入信息；
[0037]基于所述多个堆叠的编码模块中最后一个编码模块确定出的整体帧间特征、帧内特征以及帧特征表达，确定所述待预测视频的视觉质量参数，作为所述视觉质量预测模型的输出信息；
[0038]其中，每个所述编码模块包括时序注意力机制单元、空间注意力机制单元和多层感知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频质量预测方法，其特征在于，所述方法包括：获取待预测视频对应的帧集合；所述帧集合为对所述待预测视频进行间隔帧采样得到；基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；其中，各所述关键帧序列包含从所述帧集合中选取出的至少两个关键帧，且多个所述关键帧序列对应的关键帧在时序上具有不同稀疏程度；基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述帧集合确定出多个关键帧序列，包括：获取所述帧集合包含的帧数量和预设稀疏参数；所述预设稀疏参数用于表征从所述帧集合中选取关键帧的最大稀疏程度；根据所述帧集合包含的帧数量和所述预设稀疏参数，确定用于获取所述分支帧间特征的分支数量；多个分支中每个分支用于获取在时序上具有一种稀疏程度的关键帧之间的帧间特征相关性，作为所述每个分支对应的分支帧间特征，所述一种稀疏程度小于所述最大稀疏程度；从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列。3.根据权利要求2所述的方法，其特征在于，所述从所述帧集合确定出多个关键帧，并基于多个所述关键帧确定出与所述分支数量对应的多个关键帧序列，包括：针对每个分支，获取所述每个分支对应的关键帧的稀疏程度；根据所述每个分支对应的关键帧的稀疏程度，确定所述每个分支对应的关键帧数量；基于所述每个分支对应的关键帧的稀疏程度和所述每个分支对应的关键帧数量，从所述帧集合中选取出与所述关键帧数量对应的关键帧，得到所述每个分支对应的关键帧序列。4.根据权利要求3所述的方法，其特征在于，所述获取每个分支对应的关键帧的稀疏程度，包括：获取所述每个分支在所述多个分支中的序号；基于所述每个分支在所述多个分支中的序号以及所述预设稀疏参数，确定所述每个分支对应的关键帧的稀疏程度。5.根据权利要求1所述的方法，其特征在于，所述确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，包括：针对每个关键帧序列，根据所述关键帧序列包含的各关键帧对应的重要程度，确定所述关键帧序列包含的关键帧之间的特征相关性，作为所述关键帧序列对应的分支帧间特征；其中，所述各关键帧对应的重要程度为利用注意力机制计算所述帧集合中各帧在注意力图中的重要程度得到。6.根据权利要求1所述的方法，其特征在于，所述由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：
将多个所述关键帧序列对应的多个分支帧间特征进行特征拼接，得到拼接后的帧间特征；对所述拼接后的帧间特征进行特征填充，所述特征填充之后的帧间特征所对应的帧数量与所述帧集合包含的帧数量相同；基于所述特征填充之后的帧间特征得到所述帧集合对应的整体帧间特征。7.根据权利要求1所述的方法，其特征在于，所述基于所述帧集合确定出多个关键帧序列，确定各所述关键帧序列包含的关键帧之间的特征相关性作为对应的分支帧间特征，并由多个所述分支帧间特征得到所述帧集合对应的整体帧间特征，包括：将所述帧集合输入视觉质量预测模型，所述视觉质量预测模型包括多个分支结构，每个分支结构基于所述帧集合确定出一个关键帧序列，并确定所述一个关键帧序列包含的关键帧之间的特征相关性作为所述每个分支结构对应的分支帧间特征，由多个所述分支结构对应的多个所述分支帧间特征得到所述帧集合对应的整体帧间特征；所述基于所述帧集合对应的整体帧间特征，得到所述待预测视频的视觉质量预测...

【专利技术属性】
技术研发人员：袁坤，孔子尚，孙明，闻兴，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：