模型训练、道具生效确定方法、装置、设备及存储介质制造方法及图纸

本说明书实施例提供了一种模型训练、道具生效确定方法、装置、设备及存储介质，其中模型训练方法包括：构建三元组形式的训练样本；所述训练样本中包括基准视频帧、正例视频帧和负例视频帧；所述基准视频帧与所述正例视频帧中具有相同的生效道具；所述基准视频帧与所述负例视频帧中具有不同的生效道具；利用所述三元组形式的训练样本和预设的损失函数，训练预先搭建的神经网络结构；将训练好的神经网络结构，作为道具指纹模型；所述道具指纹模型用于生成目标视频帧对应的第一道具指纹向量，以判断所述目标视频帧中的道具是否生效。通过本实施例，能够准确判断目标视频中添加的道具是否生效。生效。生效。

【技术实现步骤摘要】
模型训练、道具生效确定方法、装置、设备及存储介质


[0001]本文件涉及视频处理
，尤其涉及一种模型训练、道具生效确定方法、装置、设备及存储介质。

技术介绍

[0002]用户可以使用多种应用程序创建短视频，用户创建短视频时，可以根据需求在短视频中添加各种道具，比如添加头饰、背景、边框、衣服等。然而用户执行道具添加操作之后，道具有可能生效也有可能不生效，比如，在算法检测不到用户的面部区域时，添加的头饰类道具就无法生效。目前后台在统计视频中的道具是否生效时，依赖于用户执行的道具添加操作，在检测到道具添加操作被执行之后，就确定道具生效，根据前面的描述可知，这种确定道具生效的方法具有准确率低的问题。

技术实现思路

[0003]本说明书实施例提供了一种模型训练、道具生效确定方法、装置、设备及存储介质，能够准确判断视频中添加的道具是否生效。
[0004]第一方面，本说明书实施例提供了一种模型训练方法，包括：构建三元组形式的训练样本；所述训练样本中包括基准视频帧、正例视频帧和负例视频帧；所述基准视频帧与所述正例视频帧中具有相同的生效道具；所述基准视频帧与所述负例视频帧中具有不同的生效道具；利用所述三元组形式的训练样本和预设的损失函数，训练预先搭建的神经网络结构；所述损失函数用于使所述基准视频帧对应的道具指纹向量与所述正例视频帧对应的道具指纹向量之间的距离小于第一预设距离，以及，用于使所述基准视频帧对应的道具指纹向量与所述负例视频帧对应的道具指纹向量之间的距离大于第二预设距离；将训练好的神经网络结构，作为道具指纹模型；所述道具指纹模型用于生成目标视频帧对应的第一道具指纹向量，以判断所述目标视频帧中的道具是否生效；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征。
[0005]第二方面，本说明书实施例提供了一种道具生效确定方法，包括：获取待检测道具是否生效的目标视频帧，利用如第一方面所训练的道具指纹模型对所述目标视频帧进行处理，得到所述目标视频帧对应的第一道具指纹向量；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征；获取预先建立的道具指纹向量库；所述道具指纹向量库中存储有多个第二道具指纹向量；所述第二道具指纹向量由所述道具指纹模型对预先获取的道具生效视频帧处理得到，用于表示所述道具生效视频帧中的道具的图像特征；根据所述第一道具指纹向量与所述第二道具指纹向量，判断所述目标视频帧中的道具是否生效。
[0006]第三方面，本说明书实施例提供了一种模型训练装置，包括：样本构建单元，用于构建三元组形式的训练样本；所述训练样本中包括基准视频帧、正例视频帧和负例视频帧；所述基准视频帧与所述正例视频帧中具有相同的生效道具；所述基准视频帧与所述负例视频帧中具有不同的生效道具；模型训练单元，用于利用所述三元组形式的训练样本和预设
的损失函数，训练预先搭建的神经网络结构；所述损失函数用于使所述基准视频帧对应的道具指纹向量与所述正例视频帧对应的道具指纹向量之间的距离小于第一预设距离，以及，用于使所述基准视频帧对应的道具指纹向量与所述负例视频帧对应的道具指纹向量之间的距离大于第二预设距离；模型生成单元，用于将训练好的神经网络结构，作为道具指纹模型；所述道具指纹模型用于生成目标视频帧对应的第一道具指纹向量，以判断所述目标视频帧中的道具是否生效；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征。
[0007]第四方面，本说明书实施例提供了一种道具生效确定装置，包括：第一获取单元，用于获取待检测道具是否生效的目标视频帧，利用如第三方面所训练的道具指纹模型对所述目标视频帧进行处理，得到所述目标视频帧对应的第一道具指纹向量；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征；第二获取单元，用于获取预先建立的道具指纹向量库；所述道具指纹向量库中存储有多个第二道具指纹向量；所述第二道具指纹向量由所述道具指纹模型对预先获取的道具生效视频帧处理得到，用于表示所述道具生效视频帧中的道具的图像特征；生效判断单元，用于根据所述第一道具指纹向量与所述第二道具指纹向量，判断所述目标视频帧中的道具是否生效。
[0008]第五方面，本说明书实施例提供了一种模型训练设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述第一方面所述的方法的步骤。
[0009]第六方面，本说明书实施例提供了一种道具生效确定设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述第二方面所述的方法的步骤。
[0010]第七方面，本说明书实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现上述第一方面所述的方法的步骤。
[0011]第八方面，本说明书实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现上述第二方面所述的方法的步骤。
[0012]本实施例中，训练道具指纹模型，道具指纹模型能够生成目标视频帧对应的第一道具指纹向量，以判断目标视频帧中的道具是否生效，第一道具指纹向量用于表示目标视频帧中的道具的图像特征。由此可见，通过本实施例，利用道具指纹模型生成目标视频帧对应的第一道具指纹向量，通过第一道具指纹向量来判断目标视频帧中的道具是否生效，相比于现有技术中依赖于用户执行的道具添加操作，在检测到道具添加操作被执行之后就确定道具生效的方案，考虑到了用户执行道具添加操作但是道具并未生效的情况，能够准确判断视频中添加的道具是否生效，提高确定视频中道具是否生效的准确率。
附图说明
[0013]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造
性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0014]图1为本说明书一实施例提供的模型训练方法的流程示意图；
[0015]图2为本说明书一实施例提供的三元组形式的训练样本的示意图；
[0016]图3为本说明书一实施例提供的构建三元组形式的训练样本的流程示意图；
[0017]图4为本说明书另一实施例提供的构建三元组形式的训练样本的流程示意图；
[0018]图5为本说明书一实施例提供的道具生效确定方法的流程示意图；
[0019]图6为本说明书另一实施例提供的道具生效确定方法的流程示意图；
[0020]图7为本说明书一实施例提供的模型训练装置的结构示意图；
[0021]图8为本说明书一实施例提供的道具生效确定装置的结构示意图；
[0022]图9为本说明书一实施例提供的电子设备的结构示意图。
具体实施方式
[0023]为了使本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：构建三元组形式的训练样本；所述训练样本中包括基准视频帧、正例视频帧和负例视频帧；所述基准视频帧与所述正例视频帧中具有相同的生效道具；所述基准视频帧与所述负例视频帧中具有不同的生效道具；利用所述三元组形式的训练样本和预设的损失函数，训练预先搭建的神经网络结构；所述损失函数用于使所述基准视频帧对应的道具指纹向量与所述正例视频帧对应的道具指纹向量之间的距离小于等于第一预设距离，以及，用于使所述基准视频帧对应的道具指纹向量与所述负例视频帧对应的道具指纹向量之间的距离大于等于第二预设距离；将训练好的神经网络结构，作为道具指纹模型；所述道具指纹模型用于生成目标视频帧对应的第一道具指纹向量，以判断所述目标视频帧中的道具是否生效；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征。2.根据权利要求1所述的方法，其特征在于，构建三元组形式的训练样本，包括：获取预设视频应用的打点日志，从所述打点日志中筛选道具生效的多个第一视频；所述第一视频中生效的道具的用户使用热度高于预设热度；在所述多个第一视频中抽取基准视频帧、正例视频帧和负例视频帧；其中，所述基准视频帧与所述正例视频帧为生效道具相同且背景内容满足预设相似要求的第一视频帧，或者，为生效道具相同但背景内容不满足预设相似要求的第一视频帧；所述基准视频帧与所述负例视频帧为生效道具不同且背景内容不满足预设相似要求的第一视频帧；基于抽取的所述基准视频帧、所述正例视频帧和所述负例视频帧构建三元组形式的训练样本。3.根据权利要求1所述的方法，其特征在于，构建三元组形式的训练样本，包括：获取未使用道具的多个第二视频，采用自动化脚本的方式，在多个所述第二视频中添加道具；在添加道具后的多个所述第二视频中抽取基准视频帧、正例视频帧和负例视频帧；其中，所述基准视频帧与所述正例视频帧为生效道具相同且背景内容满足预设相似要求的第二视频帧，或者，为生效道具相同但背景内容不满足预设相似要求的第二视频帧；所述基准视频帧与所述负例视频帧为生效道具不同且背景内容不满足预设相似要求的第二视频帧，或者，为生效道具不同但背景内容满足预设相似要求的第二视频帧；基于抽取的所述基准视频帧、所述正例视频帧和所述负例视频帧构建三元组形式的训练样本。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述道具指纹模型还用于建立道具指纹向量库；所述道具指纹向量库中存储有多个第二道具指纹向量；所述第二道具指纹向量由所述道具指纹模型对预先获取的道具生效视频帧处理得到，用于表示所述道具生效视频帧中的道具的图像特征；所述第一道具指纹向量与所述第二道具指纹向量相结合，以判断所述目标视频帧中的道具是否生效。5.一种道具生效确定方法，其特征在于，包括：获取待检测道具是否生效的目标视频帧，利用如权利要求1
‑
4任一项所训练的道具指纹模型对所述目标视频帧进行处理，得到所述目标视频帧对应的第一道具指纹向量；所述第一道具指纹向量用于表示所述目标视频帧中的道具的图像特征；
获取预先建立的道具指纹向量库；所述道具指纹向量库中存储有多个第二道具指纹向量；所述第二道具指纹向量由所述道具指纹模型对预先获取的道具生效视频帧处理得到，用于表示所述道具生效视频帧中的道具的图像特征；根据所述第一道具指纹向量与所述第二道具指纹向量，判断所述目标视频帧中的道具是否生效。6.根据权利要求5所述的方法，其特征在于，根据所述第一道具指纹向量与所述第二道具指纹向量，判断所述目标视频帧中的道具是否生效，包括：计算所述第一道具指纹向量与各个所述第二道具指纹向量之间的距离，根据所述距离在各个所述第二道具指纹向量中选取距离所述第一道具指纹向量最近的预设数量的目标第二道具指纹向量；获取所述目标视频帧中的道具的第一道具标识，获取各个所述目标第二道具指纹向量对应的目标道具标识，根据所述第一道具标识和所述目标道具标识，判断所述目标视频帧中的道具是否生效；其中，所述目标道具标识为，所述目标第二道具指纹向量对应的道具生效视频帧中的道具的标识。7.根据权利要求6所述的方法，其特征在于，根据所述...

【专利技术属性】
技术研发人员：祝航程，梁昊，马国俊，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：