本公开提供了一种视频选帧模型的训练方法、视频处理方法及装置，包括：获取样本视频；基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果；其中，所述目标选帧结果包括所述样本视频所包含的多个候选视频帧中，用于表征所述样本视频的特征的选定视频帧；基于图像特征提取模型确定所述多个候选视频帧对应的第一图像特征，以及所述选定视频帧的第二图像特征；基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练。的视频选帧模型进行训练。的视频选帧模型进行训练。
【技术实现步骤摘要】
视频选帧模型的训练方法、视频处理方法及装置
[0001]本公开涉及图像处理
，具体而言，涉及一种视频选帧模型的训练方法、视频处理方法及装置。
技术介绍
[0002]视频内容所包含的信息量往往随着视频时长的增长而增加，相应的，对于视频的处理难度和所需要的计算资源也会随着视频时长的增长而增加，因此，对于视频进行处理时，如何合理的筛选出视频帧就显得尤为重要。
[0003]相关技术中，一般对视频会采取固定间隔的方式进行视频帧采样，然而这种方式，采样的视频帧的数量往往会随着视频时长的增长而增加，并且由于视频的不同视频帧所包含的信息量是不同的，采样这种方式可能会采样得到较多包含信息量较少的视频帧，视频处理的精度较低。
技术实现思路
[0004]本公开实施例至少提供一种视频选帧模型的训练方法、视频处理方法及装置。
[0005]第一方面，本公开实施例提供了一种视频选帧模型的训练方法，包括：
[0006]获取样本视频；
[0007]基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果；其中，所述目标选帧结果包括所述样本视频所包含的多个候选视频帧中，用于表征所述样本视频的特征的选定视频帧；
[0008]基于图像特征提取模型确定所述多个候选视频帧对应的第一图像特征，以及所述选定视频帧的第二图像特征；
[0009]基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练。
[0010]一种可能的实施方式中，所述图像特征提取模型为待训练的模型；
[0011]所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练，包括：
[0012]基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练。
[0013]一种可能的实施方式中，所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练，包括：
[0014]基于所述第一图像特征和所述第二图像特征，确定所述候选视频帧与所述选定视频帧之间的蒸馏损失；以及，基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失；
[0015]基于所述蒸馏损失和所述选帧损失，对所述待训练的视频选帧模型进行训练。
[0016]一种可能的实施方式中，所述目标选帧结果包括各候选视频帧被选为所述选定视
频帧的概率；
[0017]所述基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失，包括：
[0018]基于各候选视频帧被选为所述选定视频帧的概率，以及所述选定视频帧对应的概率之和，确定所述图像特征提取模型对应的选帧损失。
[0019]一种可能的实施方式中，所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练，包括：
[0020]基于所述第一图像特征、所述第二图像特征，确定所述候选视频帧与所述选定视频帧之间的蒸馏损失；基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失；以及基于所述样本视频对应的监督数据和所述第一图像特征，确定所述特征提取模型对应的特征提取损失；
[0021]基于所述蒸馏损失、所述选帧损失以及所述特征提取损失，对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练。
[0022]一种可能的实施方式中，所述基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果，包括：
[0023]将所述样本视频所包含的多个候选视频帧分别输入至所述待训练的视频选帧模型中，确定所述样本视频对应的初始选帧结果；
[0024]在所述初始选帧结果所包含的选定视频帧的帧数满足预设条件的情况下，将所述初始选帧结果确定为所述目标选帧结果。
[0025]一种可能的实施方式中，所述方法还包括：
[0026]构建包含训练完成的所述视频选帧模型和所述图像特征提取模型的视频处理模型；
[0027]基于样本视频对所述视频处理模型进行微调处理；
[0028]在获取待处理视频之后，基于微调处理后的视频处理模型对所述待处理视频进行处理，确定所述待处理视频对应的处理结果。
[0029]第二方面，本公开实施例还提供一种视频处理方法，包括：
[0030]获取待处理视频；
[0031]基于第一方面或第一方面任一种可能的实施方式所述的视频选帧模型的训练方法训练得到的视频选帧模型，确定所述待处理视频所包含的目标视频帧；
[0032]基于图像特征提取模型提取所述目标视频帧的目标图像特征；
[0033]基于所述目标图像特征，确定所述待处理视频对应的处理结果。
[0034]第三方面，本公开实施例还提供一种视频选帧模型的训练装置，包括：
[0035]第一获取模块，用于获取样本视频；
[0036]选帧模块，用于基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果；其中，所述目标选帧结果包括所述样本视频所包含的多个候选视频帧中，用于表征所述样本视频的特征的选定视频帧；
[0037]特征提取模块，用于基于图像特征提取模型确定所述多个候选视频帧对应的第一图像特征，以及所述选定视频帧的第二图像特征；
[0038]训练模块，用于基于所述第一图像特征、所述第二图像特征以及所述目标选帧结
果对所述待训练的视频选帧模型进行训练。
[0039]一种可能的实施方式中，所述图像特征提取模型为待训练的模型；
[0040]所述训练模块，在基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练时，用于：
[0041]基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练。
[0042]一种可能的实施方式中，所述训练模块，在基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练时，用于：
[0043]基于所述第一图像特征和所述第二图像特征，确定所述候选视频帧与所述选定视频帧之间的蒸馏损失；以及，基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失；
[0044]基于所述蒸馏损失和所述选帧损失，对所述待训练的视频选帧模型进行训练。
[0045]一种可能的实施方式中，所述目标选帧结果包括各候选视频帧被选为所述选定视频帧的概率；
[0046]所述训练模块，在基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失时，用于：
[0047]基于各候选视频帧被选为所述选定视频帧的概率，以及所述选定视频帧对应的概率之和，确定所述图像特征提取模型对应的选帧损失。
[0048]一种可能的实施方式中，所述训练模块，在基于所述第一图像特征、所述第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频选帧模型的训练方法，其特征在于，包括：获取样本视频；基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果；其中，所述目标选帧结果包括所述样本视频所包含的多个候选视频帧中，用于表征所述样本视频的特征的选定视频帧；基于图像特征提取模型确定所述多个候选视频帧对应的第一图像特征，以及所述选定视频帧的第二图像特征；基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述图像特征提取模型为待训练的模型；所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练，包括：基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型进行训练，包括：基于所述第一图像特征和所述第二图像特征，确定所述候选视频帧与所述选定视频帧之间的蒸馏损失；以及，基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失；基于所述蒸馏损失和所述选帧损失，对所述待训练的视频选帧模型进行训练。4.根据权利要求3所述的方法，其特征在于，所述目标选帧结果包括各候选视频帧被选为所述选定视频帧的概率；所述基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失，包括：基于各候选视频帧被选为所述选定视频帧的概率，以及所述选定视频帧对应的概率之和，确定所述图像特征提取模型对应的选帧损失。5.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像特征、所述第二图像特征以及所述目标选帧结果对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练，包括：基于所述第一图像特征、所述第二图像特征，确定所述候选视频帧与所述选定视频帧之间的蒸馏损失；基于所述目标选帧结果，确定所述视频选帧模型对应的选帧损失；以及基于所述样本视频对应的监督数据和所述第一图像特征，确定所述特征提取模型对应的特征提取损失；基于所述蒸馏损失、所述选帧损失以及所述特征提取损失，对所述待训练的视频选帧模型和待训练的所述图像特征提取模型进行训练。6.根据权利要求1所述的方法，其特征在于，所述基于待训练的视频选帧模型确定所述样本视频对应的目标选帧结果，包括：将所述样本视频所包含的多个候选视频帧分别输入至所述待训练的视频选帧...
【专利技术属性】
技术研发人员：苏利会，袁泽寰，卢靓妮，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。