模型参数的处理方法、装置、设备和计算机存储介质制造方法及图纸

本发明专利技术提供了一种模型参数的处理方法、装置、设备和计算机存储介质，其中方法包括：获取用户建立的学习模型以及训练数据；确定所述学习模型的目标函数，迭代计算出基准参数候选集合；以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。本发明专利技术能够实现诸如逻辑回归模型等学习模型的参数自动调整。

Processing methods, devices, equipment and computer storage media for model parameters

The invention provides a method for processing model parameters, a device, a device and a computer storage medium, in which the methods include: acquiring the learning model established by the user and training data; determining the objective function of the learning model and iteratively calculating the candidate set of reference parameters; and taking the reference parameters in the candidate set and the training data to the learning model. The corresponding training results of the model are determined by training, and the corresponding benchmark parameters of the model satisfying the presupposed conditions are taken as the parameters of the learning model. The invention can realize automatic adjustment of parameters of learning models such as logical regression model.

【技术实现步骤摘要】
模型参数的处理方法、装置、设备和计算机存储介质
本专利技术涉及计算机应用
，特别涉及一种模型参数的处理方法、装置、设备和计算机存储介质。
技术介绍
在机器学习平台等应用场景下，用户在进行模型建立中，一般需要用户来进行模型参数的设定。例如，逻辑回归模型是一种常用的二分类模型，常常被用于诸如判别一笔交易是否存在欺诈行为，电子邮件是否为垃圾邮件，用户性别是男是女等。在逻辑回归模型的训练过程中，参数调整的好坏会严重影响到模型的预测效果；目前的参数调整主要由人工完成，例如在模型训练的界面提供各种参数的输入框以便人工填写，因此对于调参人员需要有很好的要求，例如对模型原理熟悉，知道各参数的意义，具有一定的经验，等等，这样才能够给出靠谱的参数初始值。
技术实现思路
有鉴于此，本专利技术提供了一种模型参数的处理方法、装置、设备和计算机存储介质，从而实现参数的自动调整。具体技术方案如下：本专利技术提供了一种机器学习平台中模型参数的处理方法，该方法包括：获取用户建立的学习模型以及训练数据；确定所述学习模型的目标函数，迭代计算出基准参数候选集合；以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。根据本专利技术一具体实施方式，该方法还包括：将所述学习模型的参数展示给用户，以便用户进行编辑处理。根据本专利技术一具体实施方式，所述学习模型包括逻辑回归模型；所述基准参数候选集合包括基准超参数。根据本专利技术一具体实施方式，所述确定所述学习模型的目标函数，迭代计算出基准参数候选集合包括：以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的第一取值；利用所述学习模型的参数的第一取值确定基准参数；利用所述基准参数构造基准参数候选集合。本专利技术提供了一种逻辑回归模型的参数调整方法，该方法包括：以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；将利用所述模型参数的第一取值确定出的超参数作为基准超参数；利用基准超参数构造超参数候选集合；分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值。根据本专利技术一优选实施方式，所述以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值包括：初始化模型参数的取值和迭代次数；增加迭代次数的取值；计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；利用模型参数的增量更新模型参数的取值；判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。根据本专利技术一优选实施方式，利用所述模型参数的第一取值确定超参数的方式包括：利用模型参数的第一取值确定各训练样本的损失函数和正则项；利用确定出的损失函数的均值以及所述正则项，确定超参数。根据本专利技术一优选实施方式，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。根据本专利技术一优选实施方式，所述超参数候选集合包含：基准超参数N等分的各取值。根据本专利技术一优选实施方式，以该超参数取值构造结构风险函数包括：将正则函数与超参数的积与损失函数之和作为结构风险函数。根据本专利技术一优选实施方式，所述以该结构风险函数作为目标函数，确定模型参数的第二取值包括：初始化模型参数的取值和迭代次数；增加迭代次数的取值；计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；利用模型参数的增量更新模型参数的取值；判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。根据本专利技术一优选实施方式，所述迭代终止条件包括以下至少一种：迭代次数大于或等于预设的最大迭代次数；相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。根据本专利技术一优选实施方式，所述对验证样本集的预测结果由接收者操作特征ROC或接收者操作特征曲线下面积AUC体现。本专利技术还提供了一种机器学习平台中模型参数的处理装置，该装置包括：数据获取单元，用于获取用户建立的学习模型以及训练数据；候选集合确定单元，用于确定所述学习模型的目标函数，迭代计算出基准参数候选集合；模型训练单元，用于以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；参数确定单元，将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。根据本专利技术一具体实施方式，该装置还包括：参数展示单元，用于将所述学习模型的参数展示给用户，以便用户进行编辑处理。根据本专利技术一具体实施方式，所述学习模型包括逻辑回归模型；所述基准参数候选集合包括基准超参数。根据本专利技术一具体实施方式，所述候选集合确定单元，具体执行：以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的第一取值；利用所述学习模型的参数的第一取值确定基准参数；利用所述基准参数构造基准参数候选集合。本专利技术还提供了一种逻辑回归模型的参数调整装置，该装置包括：参数预确定单元，用于以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；基准超参数确定单元，用于利用所述模型参数的第一取值确定超参数，将确定出的超参数作为基准超参数；候选集合构造单元，用于利用所述基准超参数构造超参数候选集合；超参数处理单元，用于分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；参数确定单元，用于从所述超参数处理单元得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值。根据本专利技术一优选实施方式，所述参数预确定单元，具体执行：初始化模型参数的取值和迭代次数；增加迭代次数的取值；计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；利用模型参数的增量更新模型参数的取值；判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。根据本专利技术一优选实施方式，所述基准超参数确定单元在利用所述模型参数的第一取值确定超参数的方式时，具体执行：利用模型参数的第一取值确定各训练样本的损失函数和正则项；利用确定出的损失函数的均值以及所述正则项，确定超参数。根据本专利技术一优选实施方式，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。根据本专利技术一优选实施方式，所述超参数候选集合包含：基准超参数N等分的各取值。根据本专利技术一优选实施方式，所述超参数确定单元在以该超参数取值构造结构风险函数时，具体采用以下方式：将正则函数与超参数的积与本文档来自技高网...

【技术保护点】
1.一种机器学习平台中模型参数的处理方法，其特征在于，该方法包括：获取用户建立的学习模型以及训练数据；确定所述学习模型的目标函数，迭代计算出基准参数候选集合；以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。

【技术特征摘要】
1.一种机器学习平台中模型参数的处理方法，其特征在于，该方法包括：获取用户建立的学习模型以及训练数据；确定所述学习模型的目标函数，迭代计算出基准参数候选集合；以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。2.根据权利要求1所述的方法，其特征在于，该方法还包括：将所述学习模型的参数展示给用户，以便用户进行编辑处理。3.根据权利要求1所述的方法，其特征在于，所述学习模型包括逻辑回归模型；所述基准参数候选集合包括基准超参数。4.根据权利要求1所述的方法，其特征在于，所述确定所述学习模型的目标函数，迭代计算出基准参数候选集合包括：以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的取值；利用所述学习模型的参数的取值确定基准参数；利用所述基准参数构造基准参数候选集合。5.一种逻辑回归模型的参数调整方法，其特征在于，该方法包括：以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；将利用所述模型参数的第一取值确定出的超参数作为基准超参数；利用基准超参数构造超参数候选集合；分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值。6.根据权利要求5所述的方法，其特征在于，所述以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值包括：初始化模型参数的取值和迭代次数；增加迭代次数的取值；计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；利用模型参数的增量更新模型参数的取值；判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。7.根据权利要求5所述的方法，其特征在于，利用所述模型参数的第一取值确定超参数的方式包括：利用模型参数的第一取值确定各训练样本的损失函数和正则项；利用确定出的损失函数的均值以及所述正则项，确定超参数。8.根据权利要求5所述的方法，其特征在于，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。9.根据权利要求8所述的方法，其特征在于，所述超参数候选集合包含：基准超参数N等分的各取值。10.根据权利要求5所述的方法，其特征在于，以该超参数取值构造结构风险函数包括：将正则函数与超参数的积与损失函数之和作为结构风险函数。11.根据权利要求5所述的方法，其特征在于，所述以该结构风险函数作为目标函数，确定模型参数的第二取值包括：初始化模型参数的取值和迭代次数；增加迭代次数的取值；计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；利用模型参数的增量更新模型参数的取值；判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。12.根据权利要求6或11所述的方法，其特征在于，所述迭代终止条件包括以下至少一种：迭代次数大于或等于预设的最大迭代次数；相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。13.根据权利要求5所述的方法，其特征在于，所述对验证样本集的预测结果由接收者操作...

【专利技术属性】
技术研发人员：杨旭，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY