【技术实现步骤摘要】
机器学习模型中超参数的调优方法、装置、设备及介质
本专利技术总体来说涉及机器学习领域，更具体地讲，涉及一种机器学习模型中超参数的调优方法和调优装置，以及一种计算设备及一种非暂时性机器可读存储介质。
技术介绍
在训练机器学习模型前，需要确定训练机器学习模型时使用的超参数。超参数可以视为机器学习模型的框架参数，是从更高的一个层次来对机器学习模型进行描述的参数。例如，超参数可以是描述机器学习模型的学习速率、节点的dropout(丢弃)率、batchsize(批尺寸)等的多种参数。目前，在机器学习模型的训练过程中，主要是通过手动调参的方式确定合适的超参数，这种调参方式耗费巨大的精力与时间，且非常依赖个人经验。因此，需要一种能够有效减少人工消耗的超参数调优方案。
技术实现思路
本专利技术的一个目的在于提供一种能够有效减少人工消耗的超参数调优方案。根据本专利技术的第一个方面，提出了一种机器学习模型中超参数的调优方法，包括：获取用于训练机器学习模型的模板代码，其中，模板代码中标识出了一种或多种超参数中每种超参数各自的取值集合；对模板代码进行解析，以识别一种或多种超参数各自的取值集合...
【技术保护点】
1.一种机器学习模型中超参数的调优方法，包括：获取用于训练机器学习模型的模板代码，其中，所述模板代码中标识出了一种或多种超参数中每种超参数各自的取值集合；对所述模板代码进行解析，以识别所述一种或多种超参数各自的取值集合；基于所述一种或多种超参数各自的取值集合，生成所述一种或多种超参数的至少部分取值组合；获取按照所述至少部分取值组合中的每种取值组合来训练所述机器学习模型所得到的关于模型效果的评测结果；以及基于所述评测结果，确定所述机器学习模型的所述一种或多种超参数的优化取值。
【技术特征摘要】
1.一种机器学习模型中超参数的调优方法，包括：获取用于训练机器学习模型的模板代码，其中，所述模板代码中标识出了一种或多种超参数中每种超参数各自的取值集合；对所述模板代码进行解析，以识别所述一种或多种超参数各自的取值集合；基于所述一种或多种超参数各自的取值集合，生成所述一种或多种超参数的至少部分取值组合；获取按照所述至少部分取值组合中的每种取值组合来训练所述机器学习模型所得到的关于模型效果的评测结果；以及基于所述评测结果，确定所述机器学习模型的所述一种或多种超参数的优化取值。2.如权利要求1所述的方法，其中，所述取值集合具体为取值范围或取值列表。3.如权利要求2所述的方法，其中，所述一种或多种超参数分为第一超参数集合和第二超参数集合，所述第一超参数集合中的超参数的取值集合以取值列表的形式标识，所述第二超参数集合中的超参数的取值集合以取值范围的形式标识；所述基于所述一种或多种超参数各自的取值集合，生成所述一种或多种超参数的至少部分取值组合的步骤包括：确定所述第一超参数集合中的超参数的所有取值组合；针对所述所有取值组合中的每种取值组合，确定所述第二超参数集合中每种超参数的取值，以得到所述一种或多种超参数的所述至少部分取值组合。4.如权利要求1所述的方法，其中，所述基于所述一种或多种超参数各自的取值集合，生成所述一种或多种超参数的至少部分取值组合，获取按照所述至少部分取值组合中的每种取值组合来训练所述机器学习模型所得到的关于模型效果的评测结果，基于所述评测结果，确定所述指定机器学习模型的所述一种或多种超参数的优化取值包括：初始化种群为空集合，以及初始化历史搜索空间为空集合；在每一次搜索迭代过程中：从两个以上预设方式中随机选择一种方式来确定所述一种或多种超参数的新取值组合X′；判断X′是否属于历史搜索空间，是则丢弃X′并进入下一次搜索迭代过程，否则将X′加入历史搜索空间中，获取X′的评测结果，并将X′作为新的个体加入种群中；其中，当种群中的个体个数达到预设上限值时，抛弃种群中的评测结果最差的预设数量的个体；进入下一次搜索迭代过程；当满足搜索迭代终止条件时，从种群中选取评测结果最优的个体作为所述一种或多种超参数的优化取值。5.如权利要求4所述的方法，其中，所述判断X′是否属于历史搜索空间包括：判断搜索空间中是否存在X′的各超参数均处于其相应超参数的搜...
【专利技术属性】
技术研发人员：裴炜欣，赵汉光，王珵，戴文渊，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。