视频处理方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种视频处理方法、装置、设备以及介质，该方法可以应用在人工智能下属的视频处理中，用于对视频数据进行质量评估；该方法包括：获取待评估视频中的视频帧所对应的视觉特征图；获取视觉特征图在时间维度上的第一特征权重，基于第一特征权重和视觉特征图，得到视频帧对应的第一内容特征图；获取第一内容特征图在空间维度上的第二特征权重，基于第二特征权重和第一内容特征图，得到视频帧对应的第二内容特征图；第二内容特征图用于确定待评估视频的质量评估结果。采用本申请实施例，可以提高对待评估视频的质量评估的准确性。性。性。

【技术实现步骤摘要】
视频处理方法、装置、设备以及介质


[0001]本申请涉及互联网
，尤其涉及一种视频处理方法、装置、设备以及介质。

技术介绍

[0002]随着人工智能技术的发展，丰富的视频数据为人们的生活增添了色彩。为了向人们呈现高质量的视频，需要对视频进行质量评估。相关技术中，可以采用卷积神经网络对视频进行质量评估。然而，卷积神经网络在提取视频特征时，往往通过简单堆叠的卷积层以及池化层提取视频的特征，通过这种方式提取得到的特征不够丰富，可能会导致视频质量评估的准确性降低。

技术实现思路

[0003]本申请实施例提供一种视频处理方法、装置、设备以及介质，可以提高视频质量评估的准确性。
[0004]本申请实施例一方面提供了一种视频处理方法，包括：
[0005]获取待评估视频中的视频帧所对应的视觉特征图；
[0006]获取视觉特征图在时间维度上的第一特征权重，基于第一特征权重和视觉特征图，得到视频帧对应的第一内容特征图；
[0007]获取第一内容特征图在空间维度上的第二特征权重，基于第二特征权重和第一内容特征图，得到视频帧对应的第二内容特征图；第二内容特征图用于确定待评估视频的质量评估结果。
[0008]本申请实施例一方面提供了一种视频处理装置，包括：
[0009]视觉特征获取模块，用于获取待评估视频中的视频帧所对应的视觉特征图；
[0010]时间维度处理模块，用于获取视觉特征图在时间维度上的第一特征权重，基于第一特征权重和视觉特征图，得到视频帧对应的第一内容特征图；
[0011]空间维度处理模块，用于获取第一内容特征图在空间维度上的第二特征权重，基于第二特征权重和第一内容特征图，得到视频帧对应的第二内容特征；第二内容特征图用于确定待评估视频的质量评估结果。
[0012]其中，时间维度处理模块包括：
[0013]平均池化单元，用于将视觉特征图输入至时间注意力网络，基于时间注意力网络中的平均池化层输出视觉特征图对应的到平均池化特征图，对平均池化特征图进行全连接处理，得到第一子特征图；
[0014]最大池化单元，用于基于时间注意力网络中的最大池化层输出视觉特征图对应的到最大池化特征图，对最大池化特征图进行全连接处理，得到第二子特征图；
[0015]第一融合单元，用于将第一子特征图和第二子特征图进行特征融合处理，得到第一融合特征，基于时间注意力网络中的激活网络层，得到第一融合特征在时间维度上的第一特征权重；
[0016]第一乘积运算单元，用于对第一特征权重和视觉特征图进行乘积运算，得到第三内容特征图；
[0017]第一拼接单元，用于将第三内容特征图和视觉特征图，拼接为视频帧对应的第一内容特征图。
[0018]其中，空间维度处理模块包括：
[0019]三维卷积单元，用于对第一特征权重和视觉特征图进行乘积运算，得到第三内容特征图；
[0020]激活单元，用于基于空间注意力网络中的激活网络层，得到第五内容特征图在空间维度上的第二特征权重；
[0021]第二乘积运算单元，用于对第二特征权重和第一内容特征图进行乘积运算，得到第四内容特征图；
[0022]第二拼接单元，用于将第四内容特征图和第一内容特征图，拼接为视频帧对应的第二内容特征图。
[0023]待评估视频包括视频帧i和视频帧i+1，视频帧i和视频帧i+1为待评估视频中的相邻视频帧，该装置还包括：
[0024]第一获取模块，用于获取视频帧i和视频帧i+1分别对应的语义特征图，基于视频帧i的语义特征图和视频帧i+1的语义特征图，获取视频帧i和视频帧i+1之间的第一差异特征，i为正整数；
[0025]第二获取模块，用于基于视频帧i的第二内容特征图和视频帧i+1的第二内容特征图，获取视频帧i和视频帧i+1之间的第二差异特征；
[0026]质量评估模块，用于基于第一差异特征、第二差异特征以及第二内容特征图，获取待评估视频的质量评估结果。
[0027]其中，质量评估模块包括：
[0028]第二融合单元，用于对第二差异特征和第二内容特征图进行特征融合，得到第二融合特征；
[0029]第三拼接单元，用于将第二融合特征和第一差异特征拼接为第三融合特征，对第三融合特征进行全连接处理，得到待评估视频的质量评估结果。
[0030]本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请实施例中一方面中方法的步骤。
[0031]本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时，执行本申请实施例中一方面中方法的步骤。
[0032]根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
[0033]在本申请实施例中，获取待评估视频中的视频帧所对应的视觉特征图之后，可以先获取视觉特征图在时间维度上的第一特征权重，基于第一特征权重和视觉特征图，得到
视频帧对应的第一内容特征图；然后，获取第一内容特征图在空间维度上的第二特征权重，基于第二特征权重和第一内容特征图，得到视频帧对应的第二内容特征图。由于第二内容特征图是根据第一内容特征图和第二特征权重得到的，第一内容特征图可以实现各个视频帧在时间维度上特征表达的有效性，而第二特征权重可以在空间维度上增加第一内容特征图的特征表达的有效性，因此，第二内容特征图可以同时实现各个视频帧在时间维度以及空间维度上特征表达的有效性。采用第二内容特征图确定待评估视频的质量评估结果，可以较为全面地表征待评估视频的特征，有助于提高视频质量评估的准确性。
附图说明
[0034]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本申请实施例提供的一种网络架构的结构示意图；
[0036]图2是本申请实施例提供的一种视频处理的场景示意图；
[0037]图3是本申请实施例提供的一种视频处理方法的流程示意图；
[0038]图4是本申请实施例提供的一种获取第一内容特征图的场景示意图；
[0039]图5是本申请实施例提供的一种获取第二内容特征图的场景示意图；
[0040]图6是本申请实施例提供的另一种视频处理方法的流程示意图；
[0041]图7是本申请实施例提供的另一种获取第二内容特征图的场景示意图；
[0042本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取待评估视频中的视频帧所对应的视觉特征图；获取所述视觉特征图在时间维度上的第一特征权重，基于所述第一特征权重和所述视觉特征图，得到所述视频帧对应的第一内容特征图；获取第一内容特征图在空间维度上的第二特征权重，基于所述第二特征权重和所述第一内容特征图，得到所述视频帧对应的第二内容特征图；所述第二内容特征图用于确定所述待评估视频的质量评估结果。2.根据权利要求1所述的方法，其特征在于，所述获取所述视觉特征图在时间维度上的第一特征权重，包括：将所述视觉特征图输入至时间注意力网络，基于所述时间注意力网络中的平均池化层输出所述视觉特征图对应的到平均池化特征图，对所述平均池化特征图进行全连接处理，得到第一子特征图；基于所述时间注意力网络中的最大池化层输出所述视觉特征图对应的到最大池化特征图，对所述最大池化特征图进行全连接处理，得到第二子特征图；将所述第一子特征图和所述第二子特征图进行特征融合处理，得到第一融合特征，基于所述时间注意力网络中的激活网络层，得到所述第一融合特征在时间维度上的第一特征权重。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征权重和所述视觉特征图，得到所述视频帧对应的第一内容特征图，包括：对所述第一特征权重和所述视觉特征图进行乘积运算，得到第三内容特征图；将所述第三内容特征图和所述视觉特征图，拼接为所述视频帧对应的第一内容特征图。4.根据权利要求1所述的方法，其特征在于，所述获取第一内容特征图在空间维度上的第二特征权重，包括：将所述第一内容特征图输入至空间注意力网络，基于所述空间注意力网络中的卷积层，对所述第一内容特征图进行三维卷积处理，得到第五内容特征图；基于所述空间注意力网络中的激活网络层，得到所述第五内容特征图在空间维度上的第二特征权重。5.根据权利要求1所述的方法，其特征在于，所述基于所述第二特征权重和所述第一内容特征图，得到所述视频帧对应的第二内容特征图，包括：对所述第二特征权重和所述第一内容特征图进行乘积运算，得到第四内容特征图；将所述第四内容特征图和所述第一内容特征图，拼接为所述视频帧对应的第二...

【专利技术属性】
技术研发人员：尚焱，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：