视频内容的质量评价方法、网络训练方法和装置制造方法及图纸

本公开提供了视频内容的质量评价方法、网络训练方法和装置，涉及人工智能技术领域，尤其涉及大数据、深度学习和智能推荐等技术领域。具体实现方案为：获取目标视频的多模态特征；以及；获取目标视频的参考信息的信息特征；参考信息包括创作目标视频的账号信息和/或目标视频的操作记录；基于多模态特征和信息特征，确定目标视频的内容质量。本公开使用视频信号的多模态特征和视频的离散信息的信息特征进行质量评价，实现了从多个角度全面的对视频内容质量进行评价，能够得到准确的视频质量评价结果。评价结果。评价结果。

【技术实现步骤摘要】
视频内容的质量评价方法、网络训练方法和装置


[0001]本公开涉及人工智能
，尤其涉及大数据、深度学习和智能推荐等


技术介绍

[0002]随着互联网技术的飞速发展，海量视频资源被上传到网络中。从海量视频中筛选出优质视频资源推荐给用户、以此提升用户视频观看的体验能够提高用户的留存率。因此需要一种视频内容质量评价的方法以筛选出优质的视频资源。

技术实现思路

[0003]本公开提供了一种视频内容的质量评价方法、网络训练方法和装置。
[0004]根据本公开的一方面，提供了一种视频内容的质量评价方法，包括：
[0005]获取目标视频的多模态特征；以及；
[0006]获取目标视频的参考信息的信息特征；参考信息包括创作目标视频的账号信息和/或目标视频的操作记录；
[0007]基于多模态特征和信息特征，确定目标视频的内容质量。
[0008]根据本公开的另一方面，提供了一种神经网络训练方法，包括：
[0009]将样本图像输入基于图像的掩码自动编码网络MAE，得到样本图像的初始图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频内容的质量评价方法，包括：获取目标视频的多模态特征；以及；获取所述目标视频的参考信息的信息特征；所述参考信息包括创作所述目标视频的账号信息和/或所述目标视频的操作记录；基于所述多模态特征和所述信息特征，确定所述目标视频的内容质量。2.根据权利要求1所述的方法，其中，所述获取目标视频的多模态特征，包括：获取以下至少两种特征分别作为待融合特征：所述目标视频中多帧图像各自的图像特征、所述目标视频的视频特征、所述目标视频的文本信息的文本特征；将获取的至少两种待融合特征进行融合处理，得到所述目标视频的多模态特征。3.根据权利要求2所述的方法，其中，获取目标视频中多帧图像各自的图像特征，包括：从所述目标视频中提取出多帧图像；将每帧图像分别输入基于图像的掩码自动编码网络MAE，得到每帧图像分别对应的初始图像特征；将每帧图像的初始图像特征分别输入第一全连接网络的特征提取模块，得到每帧图像的图像特征，其中，所述第一全连接网络是以完成图像质量评价为训练任务进行训练的。4.根据权利要求2或3所述的方法，其中，获取所述目标视频的视频特征，包括：将所述目标视频的帧序列，依序输入基于视频的掩码自动编码网络MAE，得到所述目标视频的初始视频特征；将所述初始视频特征输入第二全连接网络的特征提取模块，得到所述目标视频的视频特征；其中，所述第二全连接网络是以完成视频内容质量评价为训练任务进行训练的。5.根据权利要求2
‑
4中任一项所述的方法，其中，获取所述目标视频的文本信息的文本特征，包括：提取所述目标视频的视频帧中包括的第一文本信息；以及，获取所述目标视频的音频中的第二文本信息；对所述第一文本信息和所述第二文本信息进行特征提取，得到所述文本特征。6.根据权利要求1
‑
5中任一项所述的方法，所述账号信息包括以下中的至少一种：粉丝数、作品数、是否为优质作者；所述操作记录包括以下中的至少一种：视频的点赞数、点踩数、转发数、评论。7.根据权利要求1
‑
6中任一项所述的方法，还包括：提取所述目标视频的封面质量特征；所述基于所述多模态特征和所述信息特征，确定所述目标视频的内容质量，包括：将所述多模态特征、所述信息特征和所述封面质量特征，输入基于注意力的质量评价网络，得到所述目标视频的内容质量。8.一种神经网络训练方法，包括：将样本图像输入基于图像的掩码自动编码网络MAE，得到所述样本图像的初始图像特征；将所述样本图像的初始图像特征输入第一全连接网络的特征提取模块，得到样本图像的图像特征；采用所述第一全连接网络的分类模块对样本图像的图像特征进行分类处理，得到样本
图像的内容质量；基于样本图像的内容质量和样本图像的质量标签确定损失；基于所述损失调整所述第一全连接网络的特征提取模块和分类模块的网络参数；其中，所述第一全连接网络提取的目标视频的图像特征用于构建目标视频的多模态特征，所述多模态特征用于对所述目标视频进行内容质量评价。9.一种神经网络训练方法，包括：将样本视频输入基于视频的掩码自动编码网络MAE，得到所述样本视频的初始视频特征；将样本视频的初始视频特征输入第二全连接网络的特征提取模块，得到样本视频的视频特征；采用所述第二全连接网络的分类模块对样本视频的视频特征进行分类处理，得到样本视频的内容质量；基于样本视频的内容质量和样本视频的质量标签确定损失；基于所述损失调整所述第二全连接网络的特征提取模块和分类模块的网络参数；其中，所述第二全连接网络提取的目标视频的视频特征用于构建目标视频的多模态特征，所述多模态特征用于对所述目标视频进行内容质量评价。10.一种视频内容的质量评价装置，包括：获取模块，用于获取目标视频的多模态特征；以及；获取所述目标视频的参考信息的信息特征；所述参考信息包括创作所述目标视频的账号信息和/或所述目标视频的操作记录；评价模块，用于基于所述多模态特征和所述信息特征，确定所述目标视频的内容质量。11.根据权利要求10所述的装置，其中，执行所述获取目标视频的多模态特征，所述获取模块用于：获取以下至少两种特征分别作为待融合特征：所述目标视频中多帧图像各自的图像特征、所述目标视频的视频特征、所述目标视频的文本信息...

【专利技术属性】
技术研发人员：崔东林，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：