【技术实现步骤摘要】
本申请涉及计算机，尤其涉及视频，提供一种视频质量评估方法、装置、设备及计算机存储介质。
技术介绍
1、在线通信视频提供了更方便的沟通环境，视频质量决定了使用体验，视频质量往往受到终端设备、物理环境、网络状况以及编码器等多方面因素的影响，准确的进行视频质量评估对于编解码工具优化、低质量场景分析等下游应用的前提。目前，通信视频质量评估方法主要是通过线下有参考的方式，即通过对比视频的期望输入与实际输出的差异，来对输出的视频质量进行评估，并反向优化通信工具。
2、但是，在实际场景中，线上实时的视频质量评估更符合实际效果，更具备实用价值。但由于线上通信视频质量进行评估时没有参考源，输入数据只有实际的通信视频数据，只能采用纯无参考的方式，因而如何有效衡量在线视频质量是亟待解决的问题。
技术实现思路
1、本申请实施例提供一种视频质量评估方法、装置、设备及计算机存储介质，用于提升搜索结果呈现的精准性，提升内容查找效率。
2、一方面，提供一种视频质量评估方法，所述方法包括：
3、播放在线视频流，在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征；
4、持续从所述在线视频流中抽取视频帧，并分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征；
5、基于获得的各时域流畅度特征，获得相应的时域特征总向量，以及基于获得的各空域图像特征，获得相应的空域特征总向量；
6、对
7、一方面，提供一种视频质量评估模型的训练方法，所述方法包括：
8、通过多个视频播放样本，对所述视频质量评估模型进行多次迭代训练；其中，在每一次迭代训练时，执行如下操作：
9、从输入的视频播放样本中抽取视频帧，并分别对抽取的各视频帧进行空域特征提取，获得相应的空域图像特征，以及，根据视频播放样本中每个单位时长的播放流畅度，获得相应单位时长的时域流畅度特征；
10、基于获得的各空域图像特征，获得相应的空域特征总向量，以及基于获得的各时域流畅度特征，获得相应的时域特征总向量；
11、对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定视频质量评估值；
12、基于所述多个视频播放样本的视频质量真实值以及视频质量评估值，确定模型损失值，并基于所述模型损失值进行模型参数更新。
13、一方面，提供一种视频质量评估装置，所述装置包括：
14、视频播放单元，用于播放在线视频流；
15、时域检测单元，用于在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征；
16、空域检测单元，用于持续从所述在线视频流中抽取视频帧，并分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征；
17、所述时域检测单元，还用于基于获得的各时域流畅度特征，获得相应的时域特征总向量，以及，
18、所述空域检测单元，还用于基于获得的各空域图像特征，获得相应的空域特征总向量；
19、质量评估单元，用于对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量，确定所述在线视频流的视频质量评估值。
20、可选的，所述装置还包括周期检测单元，用于：
21、确定目标视频评估周期内抽取的视频帧数量是否达到设定数量阈值；
22、则所述时域检测单元，具体用于在达到所述设定数量阈值时，基于所述目标视频评估周期内获得的各时域流畅度特征，获得相应的时域特征总向量，
23、所述时域检测单元，具体用于在达到所述设定数量阈值时，基于所述目标视频评估周期内获得的各空域图像特征，获得相应的空域特征总向量；
24、则所述质量评估单元，具体用于基于所述融合特征向量，确定所述在线视频流在所述目标视频评估周期内的视频质量评估值。
25、可选的，所述空域检测单元，具体用于：
26、针对所述各个视频帧，分别执行如下操作：
27、针对一个视频帧，通过卷积神经网络单元对所述一个视频帧进行基础特征提取，获得所述一个视频帧的初始特征图；
28、将所述初始特征图输入多个连续的基本移动网络单元，获得最后一个基本移动网络单元的输出特征图，并基于所述输出特征图获得所述空域图像特征；其中，每个基本移动网络单元的处理过程包括对输入特征图进行升维度处理，获得第一中间特征图，并对所述第一中间特征图进行深度可分离卷积处理，获得第二中间特征图，以及对所述第二中间特征图进行基于注意力机制的处理，获得第三中间特征图，并对所述第三中间特征图和所述输入特征图进行残差处理，获得输出特征图。
29、可选的，所述空域检测单元，具体用于：
30、从所述一个视频帧对应的多个通道的图像数据中，获取灰阶值通道对应的图像数据，所述多个通道包括灰阶值通道和色度通道；
31、通过所述卷积神经网络单元，对所述灰阶值通道对应的图像数据进行基础特征提取，获得所述初始特征图。
32、可选的，所述空域检测单元，具体用于：
33、对所述各空域图像特征进行拼接处理，获得所述空域特征总向量；
34、对所述各空域图像特征进行均值化处理，获得所述空域特征总向量；
35、对所述各空域图像特征进行池化处理，获得所述空域特征总向量。
36、可选的，所述时域检测单元，具体用于：
37、针对每个单位时长，执行以下操作：
38、基于一个单位时长播放的视频帧与距离所述一个单位时长最近的至少一个历史单位时长播放的视频帧之间的差异，确定在所述一个单位时长内是否发生卡顿；
39、基于确定结果对所述一个单位时长进行标记，获得相应的时域流畅度特征；其中，当确定结果为流畅时，则标记第一值，当确定结果为卡顿时，则标记第二值。
40、可选的，所述时域检测单元，具体用于：
41、将获得的各时域流畅度特征按照对应的单位时长之间的先后顺序进行排列，获得时域流畅度特征序列；
42、基于设定的特征值统计规则，从所述时域流畅度特征序列中，统计得到多种时域特征参数各自对应的取值；
43、基于所述多种时域特征参数各自的取值，获得所述时域特征总向量。
44、可选的，所述质量评估单元，具体用于：
45、对所述时域特征总向量进行特征放缩处理，使得所述时域特征总向量与所述空域特征总向量的尺寸一致；
46、基于所述空域特征总向量和所述时域特征总向量之间的差值，获得所述融合特本文档来自技高网...
【技术保护点】
1.一种视频质量评估方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征，包括：
4.如权利要求3所述的方法，其特征在于，针对一个视频帧，通过卷积神经网络单元对所述一个视频帧进行基础特征提取，获得所述一个视频帧的初始特征图，包括：
5.如权利要求1～4任一所述的方法，其特征在于，基于获得的各空域图像特征，通过如下方式中的任意一种，获得相应的空域特征总向量：
6.如权利要求1所述的方法，其特征在于，在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征，包括：
7.如权利要求1或6所述的方法，其特征在于，基于获得的各时域流畅度特征，获得相应的时域特征总向量，包括：
8.如权利要求1所述的方法，其特征在于，对所述空域特征总向量和所述时域特征总向量进行特征融合处理，获得相应的融合特征向量，并基于所述融合特征向量
9.一种视频质量评估模型的训练方法，其特征在于，所述方法包括：
10.如权利要求9所述的方法，其特征在于，所述多个视频播放样本为在不同的视频损伤模拟环境下，对视频接收端播放的原始视频流进行录制得到的；
11.如权利要求10所述的方法，其特征在于，基于各训练样本组内视频播放样本的视频质量真实值以及视频质量评估值，确定所述模型损失值，包括：
12.如权利要求10或11所述的方法，其特征在于，基于各训练样本组内视频播放样本的视频质量真实值以及视频质量评估值，确定所述模型损失值，包括：
13.一种视频质量评估装置，其特征在于，所述装置包括：
14.一种视频质量评估模型的训练装置，其特征在于，所述装置包括：
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，
...【技术特征摘要】
1.一种视频质量评估方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，分别对抽取的各个视频帧进行空域特征提取，获得所述各个视频帧相应的空域图像特征，包括：
4.如权利要求3所述的方法，其特征在于，针对一个视频帧，通过卷积神经网络单元对所述一个视频帧进行基础特征提取，获得所述一个视频帧的初始特征图，包括：
5.如权利要求1～4任一所述的方法，其特征在于，基于获得的各空域图像特征，通过如下方式中的任意一种，获得相应的空域特征总向量：
6.如权利要求1所述的方法，其特征在于，在播放过程中，持续基于每个单位时长内检测得到的视频播放流畅度，获得相应单位时长的时域流畅度特征，包括：
7.如权利要求1或6所述的方法，其特征在于，基于获得的各时域流畅度特征，获得相应的时域特征总向量，包括：
8.如权利要求1所述的方法，其特征在于，对所述空域特征总向量和所述...
【专利技术属性】
技术研发人员：龚桂良，易高雄，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。