【技术实现步骤摘要】
超参数优化方法、装置、设备及介质
[0001]本申请实施例涉及机器学习
，涉及但不限于一种超参数优化方法、装置、设备及介质。
技术介绍
[0002]在自动机器学习系统中，一个重要的方向是对机器学习模型的超参数优化。相关技术中，基于贝叶斯优化的超参数优化方法取得了广泛的应用，针对超参数及其对应的模型精度直接拟合，从而得到代理模型并依据代理模型搜索超参数空间。这样，在模型或数据较小、精度波动较大的情况下容易出现过拟合，使得代理模型崩溃，难以高效优化模型的超参数。
技术实现思路
[0003]本申请实施例提供一种超参数优化技术方案。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种超参数优化方法，所述方法包括：
[0006]在待优化超参数的预设搜索空间中，确定所述待优化超参数的第一超参数值；
[0007]确定所述第一超参数值应用于预设神经网络中的精度参数；
[0008]确定所述第一超参数值在所述预设搜索空间中的正则化邻域；
[00...
【技术保护点】
【技术特征摘要】
1.一种超参数优化方法，其特征在于，所述方法包括：在待优化超参数的预设搜索空间中，确定所述待优化超参数的第一超参数值；确定所述第一超参数值应用于预设神经网络中的精度参数；确定所述第一超参数值在所述预设搜索空间中的正则化邻域；基于所述正则化邻域，对所述精度参数进行正则化，得到已正则化精度参数；基于所述已正则化精度参数和所述待优化超参数的代理模型，在所述预设搜索空间中确定使得所述预设神经网络的精度参数满足预设收敛条件的第二超参数值。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一超参数值应用于预设神经网络中的精度参数，包括：对所述待优化超参数取值为所述第一超参数值的所述预设神经网络进行训练，得到已训练网络；对所述已训练网络的性能指标进行测试，得到所述精度参数。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述正则化邻域，对所述精度参数进行正则化，得到已正则化精度参数，包括：在所述预设搜索空间中，获取预设观测数据集；其中，所述预设观测数据集包括在所述预设搜索空间中已观测的超参数值，和所述已观测的超参数值对应的精度参数；在所述预设观测数据集中，确定位于所述正则化邻域之外的已观测的超参数值；基于所述正则化邻域之外的已观测的超参数值对应的精度参数，确定所述已正则化精度参数。4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述第一超参数值在所述预设搜索空间中的正则化邻域，包括：确定所述第一超参数值的观测次序与总观测次数之间的第一比值；基于所述第一比值的相反数和第一预设基础值，确定所述第一邻域变化量；基于所述第一邻域变化量和第二预设基础值，在所述预设搜索空间中确定所述正则化邻域。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一邻域变化量和第二预设基础值，在所述预设搜索空间中确定所述正则化邻域，包括：将所述第一邻域变化量和所述第二预设基础值进行融合，确定所述第一超参数值的正则化邻域的半径；基于所述正则化邻域的半径，在所述预设搜索空间中确定所述正则化邻域。6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述已正则化精度参数和所述待优化超参数的代理模型，在所述预设搜索空间中确定使得所述预设神经网络的精度参数满足预设收敛条件的第二超参数值，包括：基于所述已正则化精度参数和所述待优化超参数的代理模型，在所述预设搜索空间中，对所述待优化超参数进行至少一次的超参数值观测；其中，每一次超参数值观测对应的超参数值不同；响应于最后一次观测对应的精度参数满足所述预设收敛条件的超参数值，确定所述最后一次观测的超参数值为所述第二超参数值。7.根据权利要求6所述的方法，其特征在于，所述基于所述已正则化精度参数和所述待
优化超参数的代理模型，在所述预设搜索空间中，对所述待优化超参数进行至少一次的超参数值观测，包括：基于所述已正则化精度参数和所述第一超参数值，对预设观测数据集进行更新，得到已更新参数集；基于所述已更新参数集，对所述代理模型进行拟合，得到已调...
【专利技术属性】
技术研发人员：卢欣，黄致远，杨凯，崔磊，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。