本公开的实施方式提供了一种视频评估模型训练方法、介质、装置和计算设备。包括:通过失真算子集处理原始视频的图像帧,生成失真图像帧;将失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;将带有人工质量评分的标注视频的标注图像帧输入失真特征提取模型,得到标注图像帧的失真特征;将标注图像帧的失真特征作为输入,人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。以上方案,通过失真特征提取模型,可以根据小批量的标注图像帧,生成大批量的标注图像帧的失真特征,以大批量的标注图像帧的失真特征作为训练集,可以提升视频评估模型的训练效果,从而提升视频评估的准确度。估的准确度。估的准确度。
【技术实现步骤摘要】
视频评估模型训练方法、介质、装置和计算设备
[0001]本公开的实施方式涉及计算机视觉领域,更具体地,本公开的实施方式涉及一种视频评估模型训练方法、介质、装置和计算设备。
技术介绍
[0002]本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着多种具有拍摄功能的移动设备的普及以及多种视频平台的出现,降低了用户分享视频的门槛,方便了用户拍摄视频上传在视频平台进行分享,视频平台的用户可以观看其他用户分享的视频。
[0004]针对视频平台,会接收到用户上传的大量视频,由于移动设备和用户拍摄水平的不同,视频的质量是参差不齐的。因此需要对用户上传的视频进行视频评估,筛选出高质量的视频,从而提升用户的观看体验。
[0005]因此,如何提升视频评估的准确度,是提升用户的观看体验的关键。
技术实现思路
[0006]本公开提供一种视频评估模型训练方法、介质、装置和计算设备,用于提升视频评估的准确度。
[0007]在本公开实施方式的第一方面中,提供了一种视频评估模型训练方法,包括:通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。
[0008]在本公开的一个实施例中,所述方法还包括:将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。
[0009]在本公开的另一个实施例中,所述失真算子集包括多个算子,所述算子对应各失真类别向量;所述通过失真算子集处理原始视频的图像帧,生成失真图像帧,包括:按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。
[0010]在本公开的又一个实施例中,所述将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练,包括:将所述失真图像帧序列中的失真
图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。
[0011]在本公开的再一个实施例中,所述将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型,包括:获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序;通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数;通过所述标注图像帧的模型质量评分以及所述标注图像帧的人工质量评分的误差,构建平均绝对误差的损失函数;训练所述原始视频评估模型,直至所述质量评分的排序损失函数以及所述平均绝对误差的损失函数小于第二阈值,则得到所述目标视频评估模型。
[0012]在本公开的再一个实施例中,所述失真类别包括以下至少一项:噪声失真、模糊失真、量化失真、上传失真以及编解码失真。
[0013]在本公开实施方式的第二方面中,提供了一种计算机可读存储介质,包括:所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的视频评估模型训练方法。
[0014]在本公开实施方式的第三方面中,提供了一种视频评估模型训练装置,所述装置包括:模拟模块,用于通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;第一训练模块,用于将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;提取模块,用于将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;第二训练模块,用于将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。
[0015]在本公开的一个实施例中,所述装置还包括:执行模块,用于将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;所述执行模块,还用于将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算模块,用于计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。
[0016]在本公开的另一个实施例中,所述失真算子集包括多个算子,所述算子对应各失真类别向量;所述模拟模块,具体用于按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;所述模拟模块,具体还用于通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。
[0017]在本公开的又一个实施例中,所述装置还包括:第一处理模块,用于将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真
评分序列以及所述失真图像帧的失真类别标签;所述第一处理模块,还用于通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;所述第一处理模块,还用于通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;所述第一处理模块,还用于训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。
[0018]在本公开的再一个实施例中,所述装置还包括:第二处理模块,用于获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序;所述第二处理模块,还用于通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数;所述第二处理模块,还用于通过所述标注图像帧的模型质量评分以及所述标注图像帧的人工质量评分的误差,构建平均绝对误差的损失函数;所述第二处理模块,还本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频评估模型训练方法,其特征在于,包括:通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。3.根据权利要求1所述的方法,其特征在于,所述失真算子集包括多个算子,所述算子对应各失真类别向量;所述通过失真算子集处理原始视频的图像帧,生成失真图像帧,包括:按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。4.根据权利要求3所述的方法,其特征在于,所述将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练,包括:将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。5.根据权利要求4所述的方法,其特征在于,所述将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型,包括:获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始...
【专利技术属性】
技术研发人员:金强,李鹏,蔡苗苗,曹偲,
申请(专利权)人:杭州网易云音乐科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。