视频分类模型的训练方法、装置、电子设备以及存储介质制造方法及图纸

本申请关于一种视频分类模型的训练方法、装置、电子设备以及存储介质，属于计算机技术领域，在本申请实施例中，通过样本视频训练一个视频分类模型，在训练过程中构建了基于样本视频图像的图像特征对样本视频进行分类的任务以及基于样本视频的视频特征对样本视频进行分类的任务，通过两个分类任务使得视频分类模型既学习到视频图像层面的内容，也学习到视频层面的内容，从而提高视频分类模型在进行视频分类时的准确率。使用视频分类模型对视频进行分类就能够在保证准确性的前提下，提高视频分类的效率。分类的效率。分类的效率。

【技术实现步骤摘要】
视频分类模型的训练方法、装置、电子设备以及存储介质


[0001]本申请涉及计算机技术，尤其涉及一种视频分类模型的训练方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的用户会通过观看视频的方式进行放松和娱乐。视频提供平台会在视频发布之前对视频进行审核，从而实现对视频的分类，比如，将视频分为符合相关规定的视频和不符合相关规定的视频。
[0003]相关技术中，往往是由视频审核人员来对待发布的视频内容进行分类，从而及时发现不符合相关规定的视频。但是，由视频审核人员来对视频内容进行分类时，需要视频审核人员完整的观看视频，导致视频分类的效率较低。因此，亟需一种更加智能的方法来提高视频分类的效率，比如基于机器学习技术来训练一个视频分类模型，通过视频分类模型来实现对视频的快速分类。

技术实现思路

[0004]本申请提供一种视频分类模型的训练方法、装置、电子设备以及存储介质，以提高视频分类的效率，本申请的技术方案如下：
[0005]一方面，提供一种视频分类模型的训练方法，包括：
[0006]将样本视频输入视频分类模型，通过所述视频分类模型中的特征提取子模型，获取所述样本视频的多个样本视频图像的图像特征；
[0007]通过所述视频分类模型中的注意力编码子模型，对所述多个样本视频图像的图像特征进行编码，得到所述样本视频的视频特征；
[0008]通过所述视频分类模型，对所述多个样本视频图像的图像特征进行处理，得到所述样本视频的第一预测视频类型；对所述样本视频的视频特征进行处理，得到所述样本视频的第二预测视频类型；
[0009]基于第一差异信息和第二差异信息，对所述视频分类模型进行训练，所述第一差异信息为所述样本视频的标注视频类型与所述第一预测视频类型之间的差异信息，所述第二差异信息为所述标注视频类型与所述第二预测视频类型之间的差异信息。
[0010]在一种可能的实施方式中，所述基于第一差异信息和第二差异信息对所述视频分类模型进行训练包括：
[0011]基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练；
[0012]基于所述第二差异信息，对所述视频分类模型中的所述注意力编码子模型进行训练。
[0013]在一种可能的实施方式中，所述基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练包括：
[0014]在所述多个样本视频图像包括至少两个图像内容不同的样本视频图像的情况下，基于所述第一差异信息对应的第一损失函数和第一权重，以及所述第二差异信息对应的第二损失函数和第二权重，对所述特征提取子模型进行训练，所述第一权重用于表示所述第一损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重用于表示所述第二损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重大于所述第一权重；
[0015]所述基于所述第二差异信息，对所述视频分类模型中的所述注意力编码子模型进行训练包括：
[0016]基于所述第二损失函数以及所述第二权重，对所述注意力编码子模型进行训练。
[0017]在一种可能的实施方式中，所述基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练包括：
[0018]在所述多个样本视频图像为相同图像内容的样本视频图像的情况下，基于所述第一差异信息对应的第一损失函数和第一权重，以及所述第二差异信息对应的第二损失函数和第二权重，对所述特征提取子模型进行训练，所述第一权重用于表示所述第一损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重用于表示所述第二损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重小于所述第一权重；
[0019]所述基于所述第二差异信息，对所述视频分类模型中的所述注意力编码子模型进行训练包括：
[0020]基于所述第二损失函数以及所述第二权重，对所述注意力编码子模型进行训练。
[0021]在一种可能的实施方式中，所述通过所述视频分类模型中的注意力编码子模型，对所述多个样本视频图像的图像特征进行编码，得到所述样本视频的视频特征包括：
[0022]通过所述视频分类模型中的所述注意力编码子模型，对所述多个样本视频图像中每两个相邻的样本视频图像的图像特征进行编码，得到所述多个样本视频图像的注意力特征；将所述多个样本视频图像的注意力特征进行融合，得到所述样本视频的视频特征。
[0023]在一种可能的实施方式中，所述对所述多个样本视频图像的图像特征进行处理，得到所述样本视频的第一预测视频类型包括：
[0024]对所述多个样本视频图像的图像特征进行池化，得到所述样本视频的图像分类特征；
[0025]对所述图像分类特征进行全连接和归一化，得到所述样本视频的第一分类参数；
[0026]基于所述第一分类参数，确定所述样本视频的第一预测视频类型。
[0027]在一种可能的实施方式中，所述对所述多个样本视频图像的图像特征进行池化，得到所述样本视频的图像分类特征包括：
[0028]对所述多个样本视频图像的图像特征进行拼接，得到样本拼接特征；
[0029]对所述样本拼接特征的每一列进行最大值池化，得到所述样本视频的图像分类特征。
[0030]在一种可能的实施方式中，所述对所述样本视频的视频特征进行处理，得到所述样本视频的第二预测视频类型包括：
[0031]对所述样本视频的视频特征进行全连接和归一化，得到所述样本视频的第二分类
参数；
[0032]基于所述第二分类参数，确定所述样本视频的第二预测视频类型。
[0033]在一种可能的实施方式中，所述方法还包括：
[0034]将目标视频输入所述视频分类模型，通过所述视频分类模型中的所述特征提取子模型，获取所述目标视频的多个目标视频图像的图像特征；
[0035]通过所述视频分类模型中的注意力编码子模型，对所述多个目标视频图像的图像特征进行编码，得到所述目标视频的视频特征；
[0036]通过所述视频分类模型，对所述目标视频的视频特征进行处理，得到所述目标视频的视频类型。
[0037]在一种可能的实施方式中，所述将样本视频输入视频分类模型之前，所述方法还包括：
[0038]从初始视频中以目标间隔进行抽帧，得到所述样本视频。
[0039]在一种可能的实施方式中，所述从初始视频中以目标间隔进行抽帧，得到所述样本视频包括：
[0040]从所述初始视频中以所述目标间隔进行抽帧，得到N个样本视频图像，N为正整数；
[0041]在N小于M的情况下，获取K个参考视频图像，所述参考视频图像为所述初始视频的第一个视频图像，M和K均为正整数，且K和N之和为M；
[0042]将所述N个样本视频图像和所述K个参考视频图像拼接为所述样本视频。
...

【技术保护点】

【技术特征摘要】
1.一种视频分类模型的训练方法，其特征在于，包括：将样本视频输入视频分类模型，通过所述视频分类模型中的特征提取子模型，获取所述样本视频的多个样本视频图像的图像特征；通过所述视频分类模型中的注意力编码子模型，对所述多个样本视频图像的图像特征进行编码，得到所述样本视频的视频特征；通过所述视频分类模型，对所述多个样本视频图像的图像特征进行处理，得到所述样本视频的第一预测视频类型；对所述样本视频的视频特征进行处理，得到所述样本视频的第二预测视频类型；基于第一差异信息和第二差异信息，对所述视频分类模型进行训练，所述第一差异信息为所述样本视频的标注视频类型与所述第一预测视频类型之间的差异信息，所述第二差异信息为所述标注视频类型与所述第二预测视频类型之间的差异信息。2.根据权利要求1所述的视频分类模型的训练方法，其特征在于，所述基于第一差异信息和第二差异信息对所述视频分类模型进行训练包括：基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练；基于所述第二差异信息，对所述视频分类模型中的所述注意力编码子模型进行训练。3.根据权利要求2所述的视频分类模型的训练方法，其特征在于，所述基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练包括：在所述多个样本视频图像包括至少两个图像内容不同的样本视频图像的情况下，基于所述第一差异信息对应的第一损失函数和第一权重，以及所述第二差异信息对应的第二损失函数和第二权重，对所述特征提取子模型进行训练，所述第一权重用于表示所述第一损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重用于表示所述第二损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重大于所述第一权重；所述基于所述第二差异信息，对所述视频分类模型中的所述注意力编码子模型进行训练包括：基于所述第二损失函数以及所述第二权重，对所述注意力编码子模型进行训练。4.根据权利要求2所述的视频分类模型的训练方法，其特征在于，所述基于所述第一差异信息和所述第二差异信息，对所述视频分类模型中的所述特征提取子模型进行训练包括：在所述多个样本视频图像为相同图像内容的样本视频图像的情况下，基于所述第一差异信息对应的第一损失函数和第一权重，以及所述第二差异信息对应的第二损失函数和第二权重，对所述特征提取子模型进行训练，所述第一权重用于表示所述第一损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重用于表示所述第二损失函数在训练时对所述视频分类模型的模型参数的影响程度，所述第二权重小...

【专利技术属性】
技术研发人员：申世伟，金伟，卢佳乐，孔令树，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：