目标识别网络的训练方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种目标识别网络的训练方法、装置、电子设备及存储介质，属于视频处理技术领域。方法包括：从识别超网络的多个候选识别子网络中，确定教师子网络和学生子网络；以样本视频中每个视频帧的标签为监督，基于教师子网络对样本视频的识别结果，调整教师子网络的模型参数；以样本视频中每个视频帧的标签、教师子网络对样本视频的识别结果为监督，基于学生子网络对样本视频的识别结果，调整学生子网络的模型参数；从调整后的教师子网络和调整后的学生子网络中，确定用于识别边界视频帧的目标识别网络。该方法中，学生子网络的准确率能够得到较大的提高，进而保证了从教师子网络和学生子网络中确定出的目标识别网络的准确率较高。较高。较高。

【技术实现步骤摘要】
目标识别网络的训练方法、装置、电子设备及存储介质


[0001]本公开涉及视频处理
，尤其涉及一种目标识别网络的训练方法、装置、电子设备及存储介质。

技术介绍

[0002]一个视频通常是由多个视频片段组成的，每个视频片段包含一个镜头的视频画面，则视频片段的边界视频帧即为镜头的边界视频帧。在分割视频时，可以调用识别网络识别视频中的边界视频帧，从而将视频从该边界视频帧所在的位置分割，得到多个视频片段，以便在视频智能剪辑或者视频合成过程中使用这多个视频片段。因此，如何训练识别网络成为亟待解决的问题。

技术实现思路

[0003]本公开提供了一种目标识别网络的训练方法、装置、电子设备及存储介质，提高了目标识别网络的准确率。本公开的技术方案包括以下方面。
[0004]根据本公开实施例的一方面，提供一种目标识别网络的训练方法，所述方法包括：从识别超网络的多个候选识别子网络中，确定教师子网络和学生子网络，所述教师子网络的准确率高于所述学生子网络的准确率，所述候选识别子网络是对所述识别超网络进行网络搜索得到的；以样本视频中每个视频帧的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标识别网络的训练方法，其特征在于，所述方法包括：从识别超网络的多个候选识别子网络中，确定教师子网络和学生子网络，所述教师子网络的准确率高于所述学生子网络的准确率，所述候选识别子网络是对所述识别超网络进行网络搜索得到的；以样本视频中每个视频帧的标签为监督，基于所述教师子网络对所述样本视频的识别结果，调整所述教师子网络的模型参数，所述标签指示所述视频帧是否为边界视频帧；以所述样本视频中每个所述视频帧的标签、所述教师子网络对所述样本视频的识别结果为监督，基于所述学生子网络对所述样本视频的识别结果，调整所述学生子网络的模型参数；从调整后的所述教师子网络和调整后的所述学生子网络中，确定用于识别边界视频帧的目标识别网络，所述目标识别网络的准确率高于其他的所述候选识别子网络的准确率。2.根据权利要求1所述的目标识别网络的训练方法，其特征在于，所述以样本视频中每个视频帧的标签为监督，基于所述教师子网络对所述样本视频的识别结果，调整所述教师子网络的模型参数，包括：基于所述教师子网络对所述样本视频的识别结果和每个所述视频帧的标签，确定所述教师子网络的损失值；基于所述教师子网络的损失值，调整所述教师子网络的模型参数。3.根据权利要求1所述的目标识别网络的训练方法，其特征在于，所述以所述样本视频中每个所述视频帧的标签、所述教师子网络对所述样本视频的识别结果为监督，基于所述学生子网络对所述样本视频的识别结果，调整所述学生子网络的模型参数，包括：基于所述样本视频中每个所述视频帧的标签、所述教师子网络对所述样本视频的识别结果以及所述学生子网络对所述样本视频的识别结果，确定所述学生子网络的损失值；基于所述学生子网络的损失值，调整所述学生子网络的模型参数。4.根据权利要求3所述的目标识别网络的训练方法，其特征在于，所述基于所述样本视频中每个所述视频帧的标签、所述教师子网络对所述样本视频的识别结果以及所述学生子网络对所述样本视频的识别结果，确定所述学生子网络的损失值，包括：基于所述学生子网络对所述样本视频的识别结果和每个所述视频帧的标签，确定所述学生子网络的第一损失值；基于所述学生子网络对所述样本视频的识别结果和所述教师子网络对所述样本视频的识别结果，确定所述学生子网络的第二损失值；按照所述第一损失值和所述第二损失值的权重，对所述第一损失值和所述第二损失值进行加权融合，得到所述学生子网络的损失值。5.根据权利要求3所述的目标识别网络的训练方法，其特征在于，所述以所述样本视频中每个所述视频帧的标签、所述教师子网络对所述样本视频的识别结果为监督，基于所述学生子网络对所述样本视频的识别结果，调整所述学生子网络的模型参数之后，所述方法还包括：按照所述教师子网络的权重和所述学生子网络的权重，对所述教师子网络的模型参数以及所述学生子网络的模型参数进行加权融合，得到所述学生子网络更新后的模型参数，所述教师子网络的权重与所述学生子网络的权重之和为1。
6.根据权利要求1
‑
5任一项所述的目标识别网络的训练方法，其特征在于，所述从识别超网络的多个候选识别子网络中，确定教师子网络和学生子网络之前，所述方法还包括：确定初始的识别超网络；从所述识别超网络中采样得到识别子网络，基于所述识别子网络对所述样本视频的识别结果，调整所述识别超网络的模型参数；对所述识别超网络进行网络搜索，得到多个所述候选识别子网络。7.根据权利要求6所述的目标识别网络的训练方法，其特征在于，所述从所述识别超网络中采样得到识别子网络，基于所述识别子网络对所述样本视频的识别结果，调整所述识别超网络的模型参数，包括：从所述识别超网络中采样得到当前的识别子网络；基于当前的所述识别子网络对所述样本视频的识别结果，确定当前的所述识别子网络的损失值；在所述损失值不符合损失值条件的情况下，基于所述损失值，调整所述识别超网络的模型参数；从调整后的所述识别超网络中采样得到下一个识别子网络，对于下一个所述识别子网络重复执行上述步骤，直至当前的所述识别子网络的损失值符合所述损失值条件，得到当前的所述识别超网络。8.根据权利要求6所述的目标识别网络的训练方法，其特征在于，所述对所述识别超网络进行网络搜索，得到多个所述候选识别子网络之后，所述方法还包括：对于每个所述候选识别子网络，基于所述候选识别子网络对所述样本视频的识别结果，确定所述候选识别子网络的损失值，在所述候选识别子网络的损失值不符合损失值条件的情况下，基于所述候选识别子网络的损失值，调整所述候选识别子网络的模型参数，对于调整后的所述候选识别子网络重复上述步骤，直至所述候选识别子网络的损失值符合所述损失值条件，得到训练后的多个所述候选识别子网络。9.根据权利要求1
‑
5任一项所述的目标识别网络的训练方法，其特征在于，所述方法还包括：获取待识别的视频，所述视频包括多个视频帧；基于所述目标识别网络对所述视频进行识别，得到识别结果，所述识别结果包括每个所述视频帧的识别标签，所述识别标签指示所述视频帧是边界视频帧的可能性；基于所述识别结果，确定所述视频的边界视频帧；将所述视频从所述边界视频帧所在的位置进行分割，得到多个视频片段。10.根据权利要求9所述的目标识别网络的训练方法，其特征在于，所述目标识别网络包括特征提取网络和分类网络；所述基于所述目标识别网络对所述视频进行识别，得到识别结果，包括：调用所述特征提取网络，对所述视频中的每个所述视频帧进行特征提取，得到每个所述视频帧的视频帧特征；调用所述分类网络，基于每个所述视频帧的视频帧特征进行分类，得到每个所述视频帧的识别标签。11.根据权利要求10所述的目标识别网络的训练方法，其特征在于，所述特征提取网络
包括特征提取模块和自注意力模块；所述调用所述特征提取网络，对所述视频中的每个所述视频帧进行特征提取，得到每个所述视频帧的视频帧特征，包括：调用所述特征提取模块，对每个所述视频帧进行特征提取，得到每个所述视频帧的视频帧特征；调用所述自注意力模块，对每个所述视频帧的视频帧特征进行处理，得到每个所述视频...

【专利技术属性】
技术研发人员：朱文涛，刘文献，李吉祥，邓锦灿，张德兵，杨森，刘霁，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：