视频分类模型的训练、视频分类方法、装置、设备及介质制造方法及图纸

本申请公开了一种视频分类模型的训练、视频分类方法、装置、设备及介质，涉及人工智能技术领域中的计算机视觉技术。该视频分类模型的训练方法包括：获取样本视频和视频分类模型，样本视频对应有分类标签，视频分类模型包括至少两个视频分类子模型；调用各个视频分类子模型分别对样本视频进行分类，得到各个视频分类子模型分别输出的参考特征和视频分类结果；基于各个视频分类子模型分别对应的第一损失函数和第二损失函数，获取目标损失函数；利用目标损失函数对各个视频分类子模型进行训练，得到目标视频分类模型。此方式，扩展了训练过程所利用的监督信息，训练效果较好，根据训练得到的目标视频分类模型对视频进行分类的准确性较高。性较高。性较高。

【技术实现步骤摘要】
视频分类模型的训练、视频分类方法、装置、设备及介质


[0001]本申请实施例涉及人工智能
，特别涉及一种视频分类模型的训练、视频分类方法、装置、设备及介质。

技术介绍

[0002]随着人工智能技术的发展，越来越多的应用场景调用视频分类模型对视频进行分类，以确定出视频对应的类别。视频对应的类别可以指示视频中的行为、场景等。
[0003]相关技术中，直接根据分类结果损失函数对视频分类模型进行训练，分类结果损失函数用于指示视频分类模型预测的视频分类结果和分类标签之间的差异。分类结果损失函数仅能从视频分类结果和分类标签之间的差异的角度提供监督信息，训练过程所利用的监督信息较局限，训练效果不佳，根据训练得到的视频分类模型对视频进行分类的准确性较低。

技术实现思路

[0004]本申请实施例提供了一种视频分类模型的训练、视频分类方法、装置、设备及介质，可用于提高视频分类模型的训练效果，提高视频分类模型的分类准确性。
[0005]一方面，本申请实施例提供了一种视频分类模型的训练方法，所述方法包括：获取样本视频和视频分类模型，所述样本视频对应有分类标签，所述视频分类模型包括至少两个视频分类子模型；调用各个视频分类子模型分别对所述样本视频进行分类，得到所述各个视频分类子模型分别输出的参考特征和视频分类结果；基于所述各个视频分类子模型分别对应的第一损失函数和第二损失函数，获取目标损失函数；利用所述目标损失函数对所述各个视频分类子模型进行训练，得到目标视频分类模型；其中，第一视频分类子模型对应的第一损失函数用于衡量所述第一视频分类子模型输出的视频分类结果与所述分类标签之间的差异，所述第一视频分类子模型对应的第二损失函数用于衡量所述第一视频分类子模型输出的第一参考特征与各个第二参考特征之间的差异，所述第一视频分类子模型为所述各个视频分类子模型中的任一视频分类子模型，所述各个第二参考特征为所述各个视频分类子模型中除所述第一视频分类子模型外的各个视频分类子模型输出的参考特征。
[0006]还提供了一种视频分类方法，所述方法包括：获取待处理视频和目标视频分类模型，所述目标视频分类模型包括至少两个目标视频分类子模型，所述目标视频分类模型利用视频分类模型中的各个视频分类子模型分别对应的第一损失函数和第二损失函数对所述各个视频分类子模型进行训练得到；调用所述至少两个目标视频分类子模型中的满足选取条件的参考视频分类子模型对所述待处理视频进行分类，得到所述参考视频分类子模型输出的参考视频分类结果；
基于所述参考视频分类结果，确定所述待处理视频对应的类别。
[0007]另一方面，提供了一种视频分类模型的训练装置，所述装置包括：第一获取单元，用于获取样本视频和视频分类模型，所述样本视频对应有分类标签，所述视频分类模型包括至少两个视频分类子模型；第二获取单元，用于调用各个视频分类子模型分别对所述样本视频进行分类，得到所述各个视频分类子模型分别输出的参考特征和视频分类结果；第三获取单元，用于基于所述各个视频分类子模型分别对应的第一损失函数和第二损失函数，获取目标损失函数；训练单元，用于利用所述目标损失函数对所述各个视频分类子模型进行训练，得到目标视频分类模型；其中，第一视频分类子模型对应的第一损失函数用于衡量所述第一视频分类子模型输出的视频分类结果与所述分类标签之间的差异，所述第一视频分类子模型对应的第二损失函数用于衡量所述第一视频分类子模型输出的第一参考特征与各个第二参考特征之间的差异，所述第一视频分类子模型为所述各个视频分类子模型中的任一视频分类子模型，所述各个第二参考特征为所述各个视频分类子模型中除所述第一视频分类子模型外的各个视频分类子模型输出的参考特征。
[0008]在一种可能实现方式中，所述第三获取单元，用于获取多元性约束损失函数，所述多元性约束损失函数用于增强所述各个视频分类子模型分别输出的参考特征之间的多元性；基于所述各个视频分类子模型分别对应的第一损失函数、第二损失函数以及所述多元性约束损失函数，获取所述目标损失函数。
[0009]在一种可能实现方式中，所述第三获取单元，还用于基于所述各个第二参考特征，获取第一待学习结果；基于所述第一参考特征和所述第一待学习结果，获取所述第一视频分类子模型对应的第二损失函数。
[0010]在一种可能实现方式中，所述装置还包括：第四获取单元，用于获取所述各个视频分类子模型输出的参考特征分别对应的转化结果；所述第三获取单元，还用于基于所述各个第二参考特征分别对应的转化结果，获取第一待学习结果；基于所述第一参考特征对应的转化结果和所述第一待学习结果，获取所述第一视频分类子模型对应的第二损失函数。
[0011]在一种可能实现方式中，所述第三获取单元，还用于获取所述各个第二参考特征分别与所述第一参考特征的关联系数；基于所述各个第二参考特征以及所述各个第二参考特征分别与所述第一参考特征的关联系数，获取所述第一待学习结果。
[0012]在一种可能实现方式中，所述第三获取单元，还用于获取所述第一参考特征对应的第一注意力信息；获取任一第二参考特征对应的第二注意力信息；基于所述第一参考特征对应的第一注意力信息和所述任一第二参考特征对应的第二注意力信息，获取所述任一第二参考特征与所述第一参考特征的关联系数。
[0013]在一种可能实现方式中，所述各个视频分类子模型中存在利用目标处理模块替换基础视频分类模型中的参考模块得到的视频分类子模型，所述目标处理模块具有的计算复杂度低于所述参考模块具有的计算复杂度，所述基础视频分类模型为用于实现视频分类的
单分支模型。
[0014]在一种可能实现方式中，所述第一获取单元，用于对原始视频执行时间上的数据增强或空间上的数据增强中的至少一种数据增强，得到所述样本视频。
[0015]还提供了一种视频分类装置，所述装置包括：第一获取单元，用于获取待处理视频和目标视频分类模型，所述目标视频分类模型包括至少两个目标视频分类子模型，所述目标视频分类模型利用视频分类模型中的各个视频分类子模型分别对应的第一损失函数和第二损失函数对所述各个视频分类子模型进行训练得到；第二获取单元，用于调用所述至少两个目标视频分类子模型中的满足选取条件的参考视频分类子模型对所述待处理视频进行分类，得到所述参考视频分类子模型输出的参考视频分类结果；确定单元，用于基于所述参考视频分类结果，确定所述待处理视频对应的类别。
[0016]在一种可能实现方式中，所述满足选取条件的参考视频分类子模型为未对所述待处理视频进行处理的各个目标视频分类子模型中具有的计算复杂度最小的目标视频分类子模型；所述确定单元，用于响应于所述参考视频分类结果满足参考条件，基于所述参考视频分类结果，确定所述待处理视频对应的类别。
[0017]在一种可能实现方式中，所述确定单元，还用于响应于所述参考视频分类结果不满足所述参考条件，从未对所述待处理视频进行处理的各个目标视频分类子模型中确定新的参考视频分类子模型，调用所述新的参考视频分类子模型对所述待处理视频进行分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类模型的训练方法，其特征在于，所述方法包括：获取样本视频和视频分类模型，所述样本视频对应有分类标签，所述视频分类模型包括至少两个视频分类子模型；调用各个视频分类子模型分别对所述样本视频进行分类，得到所述各个视频分类子模型分别输出的参考特征和视频分类结果；基于所述各个视频分类子模型分别对应的第一损失函数和第二损失函数，获取目标损失函数；利用所述目标损失函数对所述各个视频分类子模型进行训练，得到目标视频分类模型；其中，第一视频分类子模型对应的第一损失函数用于衡量所述第一视频分类子模型输出的视频分类结果与所述分类标签之间的差异，所述第一视频分类子模型对应的第二损失函数用于衡量所述第一视频分类子模型输出的第一参考特征与各个第二参考特征之间的差异，所述第一视频分类子模型为所述各个视频分类子模型中的任一视频分类子模型，所述各个第二参考特征为所述各个视频分类子模型中除所述第一视频分类子模型外的各个视频分类子模型输出的参考特征。2.根据权利要求1所述的方法，其特征在于，所述基于所述各个视频分类子模型分别对应的第一损失函数和第二损失函数，获取目标损失函数，包括：获取多元性约束损失函数，所述多元性约束损失函数用于增强所述各个视频分类子模型分别输出的参考特征之间的多元性；基于所述各个视频分类子模型分别对应的第一损失函数、第二损失函数以及所述多元性约束损失函数，获取所述目标损失函数。3.根据权利要求1或2所述的方法，其特征在于，所述第一视频分类子模型对应的第二损失函数的获取方式，包括：基于所述各个第二参考特征，获取第一待学习结果；基于所述第一参考特征和所述第一待学习结果，获取所述第一视频分类子模型对应的第二损失函数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取所述各个视频分类子模型输出的参考特征分别对应的转化结果；所述基于所述各个第二参考特征，获取第一待学习结果，包括：基于所述各个第二参考特征分别对应的转化结果，获取第一待学习结果；所述基于所述第一参考特征和所述第一待学习结果，获取所述第一视频分类子模型对应的第二损失函数，包括：基于所述第一参考特征对应的转化结果和所述第一待学习结果，获取所述第一视频分类子模型对应的第二损失函数。5.根据权利要求3所述的方法，其特征在于，所述基于所述各个第二参考特征，获取第一待学习结果，包括：获取所述各个第二参考特征分别与所述第一参考特征的关联系数；基于所述各个第二参考特征以及所述各个第二参考特征分别与所述第一参考特征的关联系数，获取所述第一待学习结果。6.根据权利要求5所述的方法，其特征在于，所述获取所述各个第二参考特征分别与所
述第一参考特征的关联系数，包括：获取所述第一参考特征对应的第一注意力信息；获取任一第二参考特征对应的第二注意力信息；基于所述第一参考特征对应的第一注意力信息和所述任一第二参考特征对应的第二注意力信息，获取所述任一第二参考特征与所述第一参考特征的关联系数。7.根据权利要求1
‑
2、4
‑
6任一所述的方法，其特征在于，所述各个视频分类子模型中存在利用目标处理模块替换基础视频分类模型中的参考模块得到的视频分类子模型，所述目标处理模块具有的计算复杂度低于所述参考模块具有的计算复杂度，所述基础视频分类模型为用于实现视频分类的单分支模型。8.根据权利要求1
‑
2、4
‑
6任一所述的方法，其特征在于，所述获取样本视频，包括：对原始视频执行时间上的数据增强或空间上的数据增强中的至少一种数据增强，得到所述样本视频。9.一种视频分类方法，其特征在于，所述方法包括：获取待处理视频和目标视频分类模型，...

【专利技术属性】
技术研发人员：班寅虓，谯睿智，任博，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：