一种超参数调优方法、装置及存储介质制造方法及图纸

本申请公开了一种超参数调优方法、装置及存储介质，其中，方法包括：由于预先存储了计算资源的资源量与超参数调优策略的对应关系，因此在获取到当前可用的计算资源时，可以依据对应关系选择当前可用的计算资源对应的超参数调优策略，然后根据该超参数调优策略对超参数进行调优。应用以上技术方案，根据具体场景中可用的计算资源选择不同的超参数调优策略，能够最大限度的利用现有计算资源，达到最优的调优效果，尽可能的满足训练精度的要求。

【技术实现步骤摘要】
一种超参数调优方法、装置及存储介质
本申请涉及深度学习
，特别是涉及一种超参数调优方法、装置及存储介质。
技术介绍
目前，深度学习被应用于大数据分析、计算机视觉和自然语言处理等各种领域。为了现实中的复杂问题，深度学习模型往往结构复杂，且需要以极大的数据量训练网络，而训练和推理都需要大量的计算资源才能快速运行。深度学习模型的超参数调优是以计算资源替代专家经验，设定若干超参数建立深度学习模型，对深度学习模型进行训练，将深度学习模型效果最好的那一组超参数设定为最终超参数。上述过程中，每一组超参数都需要对应一个深度学习模型，并进行训练结果对比，所以对计算资源提出了要求，若大量减少计算量，则会降低深度学习模型的精度，因此训练精度与计算资源产生矛盾。由此可见，如何平衡训练精度与计算资源之间的关系是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种超参数调优方法、装置及存储介质，根据具体场景中可用的计算资源选择不同的超参数调优策略，能够平衡训练精度与计算资源之间的关系。为解决上述技术问题，本申请提供一种超参数调优方法，包括：预先存储计算资源的资源量与超参数调优策略的对应关系；获取当前可用的所述计算资源；调用所述对应关系，并依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略；根据所述超参数调优策略对超参数进行调优。优选地，所述依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略，具体包括：若当前可用的所述计算资源的资源量不小于第一预设阈值，则所述超参数调优策略为对全部所述超参数进行并行调优；若当前可用的所述计算资源的资源量小于所述第一预设阈值且大于第二预设阈值，则所述超参数调优策略为对全部所述超参数进行并行调优并在调优过程中采用早停策略；若当前可用的所述计算资源的资源量不大于所述第二预设阈值，则所述超参数调优策略为对全部所述超参数进行降维，并对降维后的所述超参数进行调优；其中，所述第一预设阈值大于所述第二预设阈值。优选地，所述对全部所述超参数进行降维，并对降维后的所述超参数进行调优具体为：对全部所述超参数进行分组；对各组所述超参数进行并行调优。优选地，所述对全部所述超参数进行降维，并对降维后的所述超参数进行调优具体为：按照对于超参数调优结果的影响由大到小的顺序对全部所述超参数进行排序；按照所述超参数的顺序，选取至少一个所述超参数进行调优。优选地，在所述按照所述超参数的顺序，选取至少一个所述超参数进行调优之后，还包括：判断是否有剩余所述计算资源；若有，则返回所述按照所述超参数的顺序，选取至少一个所述超参数进行调优的步骤。优选地，在所述根据所述超参数调优策略对超参数进行调优之后，还包括：获取超参数调优结果；依据所述超参数调优结果更新所述对应关系。优选地，所述对全部所述超参数进行并行调优具体为：采用贝叶斯优化算法对全部所述超参数进行并行调优。为解决上述技术问题，本申请还提供一种超参数调优装置，包括：存储模块，用于预先存储计算资源的资源量与超参数调优策略的对应关系；获取模块，用于获取当前可用的所述计算资源；确定模块，用于调用所述对应关系，并依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略；调优模块，用于根据所述超参数调优策略对超参数进行调优。为解决上述技术问题，本申请还提供一种超参数调优装置，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如所述的超参数调优方法的步骤。为解决上述技术问题，本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的超参数调优方法的步骤。本申请所提供的超参数调优方法，由于预先存储了计算资源的资源量与超参数调优策略的对应关系，因此在获取到当前可用的计算资源时，可以依据对应关系选择当前可用的计算资源对应的超参数调优策略，然后根据该超参数调优策略对超参数进行调优。应用以上技术方案，根据具体场景中可用的计算资源选择不同的超参数调优策略，能够最大限度的利用现有计算资源，达到最优的调优效果，尽可能的满足训练精度的要求。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种超参数调优方法的流程图；图2为本申请实施例提供的一种超参数调优装置的结构示意图；图3为本申请另一实施例提供的超参数调优装置的结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。在深度学习中，深度学习模型的训练是一个非常消耗计算资源的过程，为了现实中的复杂问题，深度学习模型往往结构复杂，且需要极大的数据量训练网络，尽管有很多新的加速器被开发出来致力于优化深度学习的训练速度，但是深度学习模型训练始终都需要大量的计算资源才能运行。深度学习模型的超参数调优的目的是以计算资源替代专家经验，以某种算法找到最佳超参数组合的过程。超参数为深度学习模型外部的参数，在深度学习模型训练中，超参数的取值一般不会发生变化，在超参数调优过程中，一般由某个算法在超参数取值范围内进行采样，每一组超参数对应一个深度学习模型，然后对各个深度学习模型分别进行训练并进行评估，在训练结束时，对训练结果进行评估，比较最接近预想结果的深度学习模型结果，将最优的深度学习模型使用的一组超参数设为最优超参数组合，因为对于深度学习模型的训练是十分耗费时间的，所以算法对于超参数进行采样以及对于深度学习模型进行评估所消耗的时间几乎是可以忽略不计的，在训练过程中，因为超参数可能有很多组，所以需要训练多个深度学习模型，所以训练时间是十分长的，而并行对深度学习模型进行计算，导致使用的计算资源也是十分巨大的。在深度学习的超参数调优过程中，计算资源是决定超参数调优过程中十分重要的一环，在超参数调优中，深度学习模型采样也是影响超参数调优过程耗时的一项，深度学习模型采样的超参数数量以及超参数范围，或者直接采取更有效的采样算法来节省计算资源，现有技术中，贝叶斯优化是高效采样算法，贝叶斯优化可以根据算法上一轮的运算结果来决定下一次的超参数采样位置，所以在算法采样过程中可以不断的接近最优，从而提高采样效率。或者采用早停策略，采取提前停止某些深度学习模型的训练，当训练达到某种阶段，若预计此训练可以达到某种效果本文档来自技高网...

【技术保护点】
1.一种超参数调优方法，其特征在于，包括：/n预先存储计算资源的资源量与超参数调优策略的对应关系；/n获取当前可用的所述计算资源；/n调用所述对应关系，并依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略；/n根据所述超参数调优策略对超参数进行调优。/n

【技术特征摘要】
1.一种超参数调优方法，其特征在于，包括：
预先存储计算资源的资源量与超参数调优策略的对应关系；
获取当前可用的所述计算资源；
调用所述对应关系，并依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略；
根据所述超参数调优策略对超参数进行调优。


2.如权利要求1所述的超参数调优方法，其特征在于，所述依据所述对应关系确定当前可用的所述计算资源对应的超参数调优策略，具体包括：
若当前可用的所述计算资源的资源量不小于第一预设阈值，则所述超参数调优策略为对全部所述超参数进行并行调优；
若当前可用的所述计算资源的资源量小于所述第一预设阈值且大于第二预设阈值，则所述超参数调优策略为对全部所述超参数进行并行调优并在调优过程中采用早停策略；
若当前可用的所述计算资源的资源量不大于所述第二预设阈值，则所述超参数调优策略为对全部所述超参数进行降维，并对降维后的所述超参数进行调优；
其中，所述第一预设阈值大于所述第二预设阈值。


3.如权利要求2所述的超参数调优方法，其特征在于，所述对全部所述超参数进行降维，并对降维后的所述超参数进行调优具体为：
对全部所述超参数进行分组；
对各组所述超参数进行并行调优。


4.如权利要求2所述的超参数调优方法，其特征在于，所述对全部所述超参数进行降维，并对降维后的所述超参数进行调优具体为：
按照对于超参数调优结果的影响由大到小的顺序对全部所述超参数进行排序；
按照所述超参数的顺序，选取至少一个所述超参数进行...

【专利技术属性】
技术研发人员：于彤，
申请(专利权)人：山东英信计算机技术有限公司，
类型：发明
国别省市：山东;37