用于生成模型的方法和装置制造方法及图纸

本申请实施例公开了用于生成模型的方法和装置。该方法的一具体实施方式包括：获取样本集；提取该样本集中的部分样本组成子集，执行如下训练步骤：将该子集中的样本输入至初始模型，基于初始模型输出的信息和该子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值；基于所述目标损失值，确定初始模型是否训练完成；若是，将训练后的初始模型确定为目标模型。该实施方式提高了所生成的模型的准确性。

【技术实现步骤摘要】
用于生成模型的方法和装置
本申请实施例涉及计算机
，具体涉及用于生成模型的方法和装置。
技术介绍
在机器学习领域中，通常需要利用样本集进行模型训练。然而，用于进行模型训练的样本集中，很多样本具有噪声。作为示例，训练用于检测视频类别(例如，被划分为高质量视频类、低质量视频类)的模型时，所使用的样本集，通常是基于点击量所得到的。点击量高的视频通常被标记为高质量视频，点击量低的视频通常被标记为低质量视频。然而，也存在某些低质量视频由于点击量较大被标记为高质量视频的情况。例如，低质量视频的发布者具有较多的关注者，导致视频点击量较大。同时，存在某些高质量视频由于点击量较小但被标记为低质量视频的情况。例如，由于推送系统故障导致高质量视频未被推送。相关的方式，通常是不考虑样本噪声，直接利用样本集，利用有监督学习方式进行模型训练。
技术实现思路
本申请实施例提出了用于生成模型的方法和装置。第一方面，本申请实施例提供了一种用于生成模型的方法，该方法包括：获取样本集，其中，样本集中的样本带有标注信息；提取样本集中的部分样本组成子集，执行如下训练步骤：将子集中的样本输入至初始模型，基于初始模型输出的信息和子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值，其中，目标数量小于子集中的样本的数量；基于目标损失值，确定初始模型是否训练完成；若是，将训练后的初始模型确定为目标模型。在一些实施例中，该方法还包括：响应于确定初始模型未训练完成，基于目标损失值，更新初始模型中的参数，确定样本集中是否存在未执行训练步骤的样本；响应于确定存在，从未执行训练步骤的样本中提取样本组成子集，使用更新参数后的初始模型作为初始模型，继续执行训练步骤。在一些实施例中，该方法还包括：响应于确定样本集中不存在未执行训练步骤的样本，确定目标数量是否小于预设数值；响应于确定目标数量小于预设数值，将目标数量与指定值之和作为目标数量，使用更新参数后的初始模型作为初始模型，重新提取样本集中的部分样本组成子集，继续执行训练步骤。在一些实施例中，该方法还包括：响应于确定目标数量不小于预设数值，使用更新参数后的初始模型作为初始模型，重新提取样本集中的部分样本组成子集，继续执行训练步骤。在一些实施例中，目标数量的初始值为初次组成的子集中的样本的数量的二分之一。在一些实施例中，初始模型通过如下步骤得到：利用机器学习方法，将样本集中的样本作为输入，将所输入的样本的标注信息作为输出，训练得到初始模型。在一些实施例中，样本集中的样本为样本视频，样本所带有的标注信息用于指示样本视频的类别，目标模型为用于检测视频类别的视频类别检测模型。第二方面，本申请实施例提供了一种用于生成模型的装置，该装置包括：获取单元，被配置成获取样本集，其中，样本集中的样本带有标注信息；训练单元，被配置成提取样本集中的部分样本组成子集，执行如下训练步骤：将子集中的样本输入至初始模型，基于初始模型输出的信息和子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值，其中，目标数量小于子集中的样本的数量；基于目标损失值，确定初始模型是否训练完成；若是，将训练后的初始模型确定为目标模型。在一些实施例中，该装置还包括：第一确定单元，被配置成响应于确定初始模型未训练完成，基于目标损失值，更新初始模型中的参数，确定样本集中是否存在未执行训练步骤的样本；第一执行单元，被配置成响应于确定存在，从未执行训练步骤的样本中提取样本组成子集，使用更新参数后的初始模型作为初始模型，继续执行训练步骤。在一些实施例中，该装置还包括：第二确定单元，被配置成响应于确定样本集中不存在未执行训练步骤的样本，确定目标数量是否小于预设数值；第二执行单元，被配置成响应于确定目标数量小于预设数值，将目标数量与指定值之和作为目标数量，使用更新参数后的初始模型作为初始模型，重新提取样本集中的部分样本组成子集，继续执行训练步骤。在一些实施例中，该装置还包括：第三执行单元，被配置成响应于确定目标数量不小于预设数值，使用更新参数后的初始模型作为初始模型，重新提取样本集中的部分样本组成子集，继续执行训练步骤。在一些实施例中，目标数量的初始值为初次组成的子集中的样本的数量的二分之一。在一些实施例中，初始模型通过如下步骤得到：利用机器学习方法，将样本集中的样本作为输入，将所输入的样本的标注信息作为输出，训练得到初始模型。在一些实施例中，样本集中的样本为样本视频，样本所带有的标注信息用于指示样本视频的类别，目标模型为用于检测视频类别的视频类别检测模型。第三方面，本申请实施例提供了一种用于检测视频类别的方法，包括：接收目标视频；将目标视频中的帧输入采用如上述第一方面中的实施例所描述的方法生成的视频类别检测模型，得到视频类别检测结果。第四方面，本申请实施例提供了一种用于检测视频类别的装置，包括：接收单元，被配置成接收目标视频；输入单元，被配置成将目标视频中的帧输入采用如上述第一方面中的实施例所描述的方法生成的视频类别检测模型，得到视频类别检测结果。第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面和第三方面中任一实施例的方法。第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面和第三方面中任一实施例的方法。本申请实施例提供的用于生成模型的方法和装置，通过获取样本集，可以从中提取样本组成子集以进行初始模型的训练。其中，样本集中的样本带有标注信息。这样，将提取的子集中的样本输入至初始模型，便可以得到初始模型输出的各样本对应的信息。之后，基于初始模型输出的信息、所提取的子集中的样本所带有的标注信息，可以确定所输入的各样本的损失值。而后，可以按照损失值从小到大的顺序选取目标数量(小于子集中的样本的数量)的损失值，将所选取的损失值的平均值确定为目标损失值。之后，可以基于目标损失值确定初始模型是否训练完成。如果初始模型训练完成，就可以将训练后的初始模型确定为目标模型。由于通常噪声样本的损失值较大，因而，按照损失值从小到大的顺序选取目标数量(小于子集中的样本的数量)的损失值进行初始模型的训练，可以筛除噪声样本的影响，提高了所生成的模型的准确性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请的一个实施例可以应用于其中的示例性系统架构图；图2是根据本申请的用于生成模型的方法的一个实施例的流程图；图3是根据本申请的用于生成模型的方法的一个应用场景的示意图；图4是根据本申请的用于生成模型的方法的又一个实施例的流程图；图5是根据本申请的用于生成模型的装置的一个实施例的结构示意图；图6是根据本申请用于检测视频类别的方法的一个实施例的流程图；图7是根据本申请用于检测视频类别的装置的一个实施例的结构示意图；图8是适于用来实现本申请实施例的电子设备的计算机系本文档来自技高网...

【技术保护点】
1.一种用于生成模型的方法，包括：获取样本集，其中，所述样本集中的样本带有标注信息；提取所述样本集中的部分样本组成子集，执行如下训练步骤：将所述子集中的样本输入至初始模型，基于初始模型输出的信息和所述子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值，其中，目标数量小于所述子集中的样本的数量；基于所述目标损失值，确定初始模型是否训练完成；若是，将训练后的初始模型确定为目标模型。

【技术特征摘要】
1.一种用于生成模型的方法，包括：获取样本集，其中，所述样本集中的样本带有标注信息；提取所述样本集中的部分样本组成子集，执行如下训练步骤：将所述子集中的样本输入至初始模型，基于初始模型输出的信息和所述子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值，其中，目标数量小于所述子集中的样本的数量；基于所述目标损失值，确定初始模型是否训练完成；若是，将训练后的初始模型确定为目标模型。2.根据权利要求1所述的用于生成模型的方法，其中，所述方法还包括：响应于确定初始模型未训练完成，基于所述目标损失值，更新初始模型中的参数，确定所述样本集中是否存在未执行所述训练步骤的样本；响应于确定存在，从未执行所述训练步骤的样本中提取样本组成子集，使用更新参数后的初始模型作为初始模型，继续执行所述训练步骤。3.根据权利要求2所述的用于生成模型的方法，其中，所述方法还包括：响应于确定所述样本集中不存在未执行所述训练步骤的样本，确定目标数量是否小于预设数值；响应于确定目标数量小于预设数值，将目标数量与指定值之和作为目标数量，使用更新参数后的初始模型作为初始模型，重新提取所述样本集中的部分样本组成子集，继续执行所述训练步骤。4.根据权利要求3所述的用于生成模型的方法，其中，所述方法还包括：响应于确定目标数量不小于所述预设数值，使用更新参数后的初始模型作为初始模型，重新提取所述样本集中的部分样本组成子集，继续执行所述训练步骤。5.根据权利要求3所述的用于生成模型的方法，其中，目标数量的初始值为初次组成的子集中的样本的数量的二分之一。6.根据权利要求1所述的用于生成模型的方法，其中，初始模型通过如下步骤得到：利用机器学习方法，将所述样本集中的样本作为输入，将所输入的样本的标注信息作为输出，训练得到初始模型。7.根据权利要求1-6之一所述的用于生成模型的方法，其中，所述样本集中的样本为样本视频，样本所带有的标注信息用于指示样本视频的类别，所述目标模型为用于检测视频类别的视频类别检测模型。8.一种用于生成模型的装置，包括：获取单元，被配置成获取样本集，其中，所述样本集中的样本带有标注信息；训练单元，被配置成提取所述样本集中的部分样本组成子集，执行如下训练步骤：将所述子集中的样本输入至初始模型，基于初始模型输出的信息和所述子集中的样本所带有的标注信息，确定所输入的各样本的损失值；按照损失值从小到大的顺序选取目标数量的损失值，将所选取的损失值的平均值确定为目标损失值，其中，目标数量小于所述子...

【专利技术属性】
技术研发人员：袁泽寰，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11