超参数阈值范围确定方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。方法包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。由于目标超参数的阈值范围的确定参考了相应的评估指标，因此可以根据用户的不同需求选取合适的目标超参数阈值范围。这样，后续可以依据该目标超参数阈值范围进行超参数调优，缩小了反复调优尝试的范围，从而提升了超参数调优的效率、降低了人工成本，进而提升了人工智能模型训练的效率。

【技术实现步骤摘要】
超参数阈值范围确定方法、装置、存储介质及电子设备
本公开涉及人工智能领域，具体地，涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。
技术介绍
人工智能近三十年来获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕成果。但是，现阶段人工智能模型训练仍然还是耗时耗力的工作内容，往往需要专家根据自身经验进行反复迭代调优，其中有大部分工作内容是针对人工智能模型训练算法的超参数进行反复调优尝试。为了提高人工智能模型训练的效率、降低人工成本，研究者提出了诸如网格搜索(GridSearch)、贝叶斯优化等方法来实现超参数的自动调优。但是目前提出的大部分方法仍然依赖于用户输入的初始值，例如，GridSearch方法需要用户手动输入一系列超参数的数组，贝叶斯优化方法也需要随机生成一系列的采样点，即初始超参数的阈值范围仍依赖于个人经验进行设置。另外，上述GridSearch方法只能验证已输入范围内的超参数值的效果，而贝叶斯优化方法也往往集中在初始采样点的周边范围内进行参数调优，它们无法根据用户的不同需求(例如，模型准确率、训练效率)设定合适的阈值搜索方法。
技术实现思路
为了克服相关技术中存在的问题，本公开提供一种超参数阈值范围确定方法、装置、存储介质及电子设备。为了实现上述目的，根据本公开实施例的第一方面，提供一种超参数阈值范围确定方法，包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。可选地，所述根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围，包括：获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；将所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。可选地，所述获取多个第一目标超参数估计值，包括：将多个所述第一目标超参数值按照数值大小进行排序；将排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。可选地，所述根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，包括：根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的高斯分布的均值和方差；分别根据在每个所述第一目标超参数估计值下的所述均值和所述方差，通过以下公式，确定在每个所述第一目标超参数估计值下所述模型的评估指标的最大值：z1_h＝μ1_h+C·δ1_h其中，z1_h为在第h个第一目标超参数估计值下所述模型的评估指标的最大值；μ1_h为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的均值；δ1_h为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的方差；C为预设的置信度。可选地，在所述以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰的步骤之前，所述方法还包括：在基于第二训练数据集对所述模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第二目标超参数值，以及获取每次训练后所得模型的评估指标值作为第三评估指标值；获取多个第二目标超参数估计值，其中，所述第二目标超参数估计值大于获取到的所述第二目标超参数值中的最小值、且小于获取到的所述第二目标超参数值中的最大值，获取到的所述第二目标超参数估计值的数量与获取到的所述第一目标超参数估计值的数量相同；根据所述第二目标超参数值和所述第三评估指标值，利用所述高斯过程回归模型分别预测在每个所述第二目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第二目标超参数估计值对应的第四评估指标值；根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标；根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，得到新的高斯过程回归模型；根据所述第一目标超参数值和所述第一评估指标值，利用所述新的高斯过程回归模型，再次分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的新的第二评估指标值。可选地，所述根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标，包括：根据多个所述第二评估指标值和多个所述第四评估指标值，通过以下公式，确定所述第一训练数据集和所述第二训练数据集的相似度指标：其中，SIM为所述相似度指标；z1_h为第h个第一目标超参数估计值对应的第二评估指标值；z2_h为第h个第二目标超参数估计值对应的第四评估指标值；T为所述获取到的所述第一目标超参数估计值的数量。可选地，在所述根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数的步骤之前，所述方法还包括：根据所述相似度指标，确定所述第一训练数据集和所述第二训练数据集相似。可选地，所述根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，包括：根据所述相似度指标，通过以下公式，更新所述高斯过程回归模型的高斯核函数：其中，kij为所述高斯过程回归模型的高斯核函数；xi为获取到的第i个第一目标超参数值或第一目标超参数估计值；xj为获取到的第j个第一目标超参数值或第一目标超参数估计值；SIM为所述相似度指标。根据本公开实施例的第二方面，提供一种超参数阈值范围确定装置，包括：获取模块，用于在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；确定模块，用于根据所述获取模块获取到的所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的所述超参数阈值范围确定方法的步骤。根据本公开实施例的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面提供的所述超参数阈值范围确定方法的步骤。在上述技术方案中，在基于第一训练数据集进行多次训练后，能够获得多个第一目标超参数值和多个相应的第一评本文档来自技高网...

【技术保护点】
1.一种超参数阈值范围确定方法，其特征在于，包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

【技术特征摘要】
1.一种超参数阈值范围确定方法，其特征在于，包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围，包括：获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；将所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。3.根据权利要求2所述的方法，其特征在于，所述获取多个第一目标超参数估计值，包括：将多个所述第一目标超参数值按照数值大小进行排序；将排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，包括：根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的高斯分布的均值和方差；分别根据在每个所述第一目标超参数估计值下的所述均值和所述方差，通过以下公式，确定在每个所述第一目标超参数估计值下所述模型的评估指标的最大值：z1_h＝μ1_h+C·δ1_h其中，z1_h为在第h个第一目标超参数估计值下所述模型的评估指标的最大值；μ1_h为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的均值；δ1_h为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的方差；C为预设的置信度。5.根据权利要求2-4中任一项所述的方法，其特征在于，在所述以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰的步骤之前，所述方法还包括：在基于第二训练数据集对所述模型进行的多次训练过程中，获取每次训练过程所使用的目标超参...

【专利技术属性】
技术研发人员：邹存璐，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21