任务处理模型的生成方法、装置、设备及存储介质制造方法及图纸

本公开关于一种任务处理模型的生成方法、装置、设备及存储介质，该方法通过加载至训练数据缓存区的当轮训练集对任务处理模型进行训练处理，确定各训练样本对应的第一筛选指标参数；基于第一筛选指标参数、其他训练样本的第二筛选指标参数和全量训练集的目标样本筛选量，对全量训练集进行样本筛选，得到筛选后的训练集，并将训练数据缓存区中的各训练样本替换为筛选后的训练集；将筛选后的训练集作为当轮训练集，重复执行各步骤，直至达到模型训练结束条件，生成目标任务处理模型。从而减少模型训练计算量，降低对计算机资源的开销和依赖，提高计算效率。提高计算效率。提高计算效率。

【技术实现步骤摘要】
任务处理模型的生成方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种任务处理模型的生成方法、装置、设备及存储介质。

技术介绍

[0002]自动化机器学习(AutoML)是一种自动化模型开发和迭代的过程，具备可扩展性大、效率高、所需专家知识少等优点，神经架构搜索(NAS)和超参数优化(HPO)作为AutoML的两大主要任务，已经成为非常活跃的研究领域。
[0003]然而，AutoML技术需要重复性地训练多个模型结构或者多套超参数来实现搜索过程，计算量非常大，导致计算效率低下。

技术实现思路

[0004]本公开提供一种任务处理模型的生成方法、装置、设备及存储介质，以至少解决相关技术中计算效率低下等至少一种问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种任务处理模型的生成方法，包括：
[0006]基于全量训练集获取当轮训练集，将所述当轮训练集中各训练样本加载至训练数据缓存区；所述全量训练集中的各训练样本为媒体资源对应的样本数据；
[0007]加载所述训练数据缓存区中各所述训练样本至针对媒体资源的任务处理模型，通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，并确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数；所述第一筛选指标参数表征各所述训练样本在当前训练轮次中、处于至少一个任务筛选维度下的重要程度；
[0008]在所述当轮训练集为非首轮训练对应的训练集的情况下，获取全量训练集中除所述当轮训练集之外的其他训练样本的第二筛选指标参数；所述第二筛选指标参数表征所述其他训练样本分别在对应的历史训练轮次中、处于所述至少一个任务筛选维度下的重要程度；确定在下一训练轮次中所述全量训练集的目标样本筛选量，基于所述第一筛选指标、所述第二筛选指标参数和所述目标样本筛选量，对所述全量训练集进行样本筛选，得到筛选后的训练集，并将所述训练数据缓存区中的各训练样本替换为所述筛选后的训练集；
[0009]将所述筛选后的训练集作为当轮训练集，返回执行加载所述训练数据缓存区中各所述训练样本至针对媒体资源的任务处理模型，直至达到模型训练结束条件，生成目标任务处理模型。
[0010]在一可选实施方法中，所述通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，并确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数，包括：
[0011]通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，得到各所述训练样本对应的中间指标参数；所述中间指标参数用于表征模型训练过程中的训练指标数据；
[0012]确定下一训练轮次对应的目标任务筛选维度，所述目标任务筛选维度为至少一个所述任务筛选维度中任一个；
[0013]基于所述目标任务筛选维度对所述中间指标参数进行参数筛选，确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数。
[0014]在一可选实施方法中，所述确定下一训练轮次对应的目标任务筛选维度，包括：
[0015]获取混合筛选维度分配图，所述混合筛选维度分配图表征在模型训练过程中，各类任务筛选维度随着训练轮次变化所对应的分配概率；
[0016]基于所述混合筛选维度分配图以及所述当前训练轮次所属的当前模型训练阶段，确定所述当前模型训练阶段下各类任务筛选维度分别对应的分配比例，并基于所述分配比例，确定任务筛选维度分配数据；所述任务筛选维度分配数据表征所述当前模型训练阶段中各训练轮次对应的预设任务筛选维度；
[0017]基于所述任务筛选维度分配数据，确定所述下一训练轮次对应的目标任务筛选维度；
[0018]其中，不同模型训练阶段下各类任务筛选维度分别对应的分配比例各不相同，且不同模型训练阶段中各类任务筛选维度分别对应的分配比例之间的和值为1。
[0019]在一可选实施方法中，所述确定在下一训练轮次中所述全量训练集的目标样本筛选量，包括：
[0020]获取固定筛选率；
[0021]基于所述固定筛选率和最大额定筛选率，确定各所述训练轮次对应的预设筛选率；所述预设筛选率随着训练轮次的次数增加而降低；
[0022]基于各所述训练轮次对应的预设筛选率和所述全量训练集的样本总数，确定在下一训练轮次中所述全量训练集的目标样本筛选量。
[0023]在一可选实施方法中，所述基于所述固定筛选率和最大额定筛选率，确定各所述训练轮次对应的预设筛选率，包括：
[0024]在所述固定筛选率小于等于最大额定筛选率的一半时，基于总训练轮次与所述最大额定筛选率，确定各训练轮次对应的第一筛选率；并基于所述第一筛选率和所述固定筛选率，得到各所述训练轮次对应的预设筛选率；
[0025]在所述固定筛选率大于最大额定筛选率的一半时，基于总训练轮次、所述最大额定筛选率和所述固定筛选率，确定各训练轮次对应的第二筛选率，并作为各所述训练轮次对应的预设筛选率。
[0026]在一可选实施方法中，所述基于所述第一筛选指标参数、所述第二筛选指标参数和所述目标样本筛选量，对所述全量训练集进行样本筛选，得到筛选后的训练集，包括：
[0027]在所述第一筛选指标参数的筛选维度类型指示候选筛选维度的情况下，对所述第一筛选指标参数和所述第二筛选指标参数进行归一化处理，得到所述全量训练集中各训练样本对应的归一化筛选权重；所述候选筛选维度用于表征模型训练指标的筛选维度；
[0028]基于所述目标样本筛选量和所述归一化筛选权重，对所述全量训练集进行样本筛选，得到筛选后的训练集，所述筛选后的训练集中训练样本的数量为所述目标样本筛选量。
[0029]在一可选实施方法中，所述基于所述第一筛选指标参数所述第二筛选指标参数和所述目标样本筛选量，对所述全量训练集进行样本筛选，得到筛选后的训练集，包括：
[0030]在所述第一筛选指标参数的筛选维度类型指示基于预测值的筛选维度的情况下，基于所述第一筛选指标参数对应的预测值的预测准确概率，对对应的训练样本的预测状态值进行数值调整，得到调整后的第一筛选指标参数；
[0031]基于所述目标样本筛选量、所述调整后的第一筛选指标参数的数值大小、以及所述第二筛选指标参数，对所述全量训练集进行样本筛选，得到筛选后的训练集，所述筛选后的训练集中训练样本的数量为所述目标样本筛选量。
[0032]在一可选实施方法中，所述基于所述第一筛选指标参数对应的预测值的预测准确概率，对对应的训练样本的预测状态值进行数值调整，得到调整后的第一筛选指标参数，包括：
[0033]若所述第一筛选指标参数对应的预测值的预测准确概率存在用于指示预测正确，基于预设调整幅度对预测正确对应的训练样本的预测状态值进行数值减少调整，得到第一类调整指标参数；
[0034]若所述第一筛选指标参数对应的预测值的预测准确概率存在用于指示预测错误，基于预设调整幅度对预测错误对应的训练样本的预测状态值进行数值增加调整，得到第二类调整指标参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理模型的生成方法，其特征在于，包括：基于全量训练集获取当轮训练集，将所述当轮训练集中各训练样本加载至训练数据缓存区；所述全量训练集中的各训练样本为媒体资源对应的样本数据；加载所述训练数据缓存区中各所述训练样本至针对媒体资源的任务处理模型，通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，并确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数；所述第一筛选指标参数表征各所述训练样本在当前训练轮次中、处于至少一个任务筛选维度下的重要程度；在所述当轮训练集为非首轮训练对应的训练集的情况下，获取全量训练集中除所述当轮训练集之外的其他训练样本的第二筛选指标参数；所述第二筛选指标参数表征所述其他训练样本分别在对应的历史训练轮次中、处于所述至少一个任务筛选维度下的重要程度；确定在下一训练轮次中所述全量训练集的目标样本筛选量，基于所述第一筛选指标、所述第二筛选指标参数和所述目标样本筛选量，对所述全量训练集进行样本筛选，得到筛选后的训练集，并将所述训练数据缓存区中的各训练样本替换为所述筛选后的训练集；将所述筛选后的训练集作为当轮训练集，返回执行加载所述训练数据缓存区中各所述训练样本至针对媒体资源的任务处理模型，直至达到模型训练结束条件，生成目标任务处理模型。2.根据权利要求1所述的方法，其特征在于，所述通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，并确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数，包括：通过所述当轮训练集中各所述训练样本对所述任务处理模型进行训练处理，得到各所述训练样本对应的中间指标参数；所述中间指标参数用于表征模型训练过程中的训练指标数据；确定下一训练轮次对应的目标任务筛选维度，所述目标任务筛选维度为至少一个所述任务筛选维度中任一个；基于所述目标任务筛选维度对所述中间指标参数进行参数筛选，确定各所述训练样本在当前训练轮次中对应的第一筛选指标参数。3.根据权利要求2所述的方法，其特征在于，所述确定下一训练轮次对应的目标任务筛选维度，包括：获取混合筛选维度分配图，所述混合筛选维度分配图表征在模型训练过程中，各类任务筛选维度随着训练轮次变化所对应的分配概率；基于所述混合筛选维度分配图以及所述当前训练轮次所属的当前模型训练阶段，确定所述当前模型训练阶段下各类任务筛选维度分别对应的分配比例，并基于所述分配比例，确定任务筛选维度分配数据；所述任务筛选维度分配数据表征所述当前模型训练阶段中各训练轮次对应的预设任务筛选维度；基于所述任务筛选维度分配数据，确定所述下一训练轮次对应的目标任务筛选维度；其中，不同模型训练阶段下各类任务筛选维度分别对应的分配比例各不相同，且不同模型训练阶段中各类任务筛选维度分别对应的分配比例之间的和值为1。4.根据权利要求1所述的方法，其特征在于，所述确定在下一训练轮次中所述全量训练集的目标样本筛选量，包括：
获取固定筛选率；基于所述固定筛选率和最大额定筛选率，确定各所述训练轮次对应的预设筛选率；所述预设筛选率随着训练轮次的次数增加而降低；基于各所述训练轮次对应的预设筛选率和所述全量训练集的样本总数，确定在下一训练轮次中所述全量训练集的目标样本筛选量。5.根据权利要求4所述的方法，其特征在于，所述基于所述固定筛选率和最大额定筛选率，确定各所述训练轮次对应的预设筛选率，包括：在所述固定筛选率小于等于最大额定筛选率的一半时，基于总训练轮次与所述最大额定筛选率，确定各训练轮次对应的第一筛选率；并基于所述第一筛选率和所述固定筛选率，得到各所述训练轮次对应的预设筛选率；在所述固定筛选率大于最大额定筛选率的一半时，基于总训练轮次、所述最大额定筛选率和所述固定筛选率，确定各训练轮次对应的第二筛选率，并作为各所述训练轮次对应的预设筛选率。6.根据权利要求1
‑
5任一所述的方法，其特征在于，所述基于所述第一筛选指标参数、所述第二筛选指标参数和所述目标样本筛选量，对所述全量训练集进行样本筛选，得到筛选后的...

【专利技术属性】
技术研发人员：姚鹏，廖超，谈建超，宋成儒，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：