一种确定业务处理模型超参数的方法和装置制造方法及图纸

本说明书实施例提供了一种确定业务处理模型超参数的方法和装置，所述模型包括n个离散型超参数，所述方法包括：获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合；对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；获取与子代第一离散型超参数组合对应的业务处理模型的性能值；确定新的父代第一离散型超参数组合。

A method and device to determine the super parameters of business processing model

【技术实现步骤摘要】
一种确定业务处理模型超参数的方法和装置
本说明书实施例涉及机器学习
，更具体地，涉及一种确定业务处理模型超参数的方法和装置。
技术介绍
在互联网的应用场景中，每天会有大量的业务数据需要分析，而机器学习作为一种技术手段，正在越来越多的场景中发挥着作用。对于给定的任务，建立并部署有效的模型通常包括两个主要的部分，其一是选择合适的模型，其二则是针对该模型选择合适的超参数，从而为模型的性能提供保障，其中，超参数为在模型训练前预先设定的参数。在当前的方案中，最基本且使用最为广泛的是两种搜索的方法，即网格搜索(GridSearch)和随机搜索(RandomSearch)，在这两种方法中，在给定搜索范围内搜索较优的超参数。对上述搜索方案的改进方案包括遗传算法(GeneticAlgorithm)方案或差分进化(DifferentialEvolution)算法方案，其中，遗传算法方案适用于离散型参数，差分进化方案适用于连续型参数。其中，连续型参数的取值是连续的，相邻两值之间可无限分割，例如，学习率、正则化参数等都是连续型参数。离散型参数的取值是间断且有限的，如神经网络的层数、批量数据的大小、学习的回合数等。上述两种方案只是针对一种特定类型的超参数，在另外一种类型的超参数上的效果较差因此，需要一种更有效的确定业务处理模型的超参数的方案。
技术实现思路
本说明书实施例旨在提供一种更有效的确定业务处理模型的超参数的方案，以解决现有技术中的不足。为实现上述目的，本说明书一个方面提供一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述方法包括：获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。本说明书另一方面提供一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述方法包括：获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。在一个实施例中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述方法还包括：在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。在一个实施例中，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值包括，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合包括，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。在一个实施例中，对父代第一离散型超参数组合进行遗传算法中的交叉操作包括：对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。在一个实施例中，对交叉后第一离散型超参数组合进行遗传算法中的变异操作包括：对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。在一个实施例中，所述训练样本和测试样本与网络平台中的以下任一对象相关：用户、商户、商品、交易。本说明书另一方面提供一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述装置包括：第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；交叉单元，配置为，基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；变异单元，配置为，对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；第二获取单元，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；确定单元，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。本说明书另一方面提供一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述装置包括：第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；变异单元，配置为本文档来自技高网...

【技术保护点】
1.一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述方法包括：/n获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；/n基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；/n对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；/n基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；/n基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。/n

【技术特征摘要】
1.一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。


2.一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。


3.根据权利要求1或2所述的方法，其中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述方法还包括：
在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。


4.根据权利要求3所述的方法，其中，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值包括，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合包括，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。


5.根据权利要求1所述的方法，其中，对父代第一离散型超参数组合进行遗传算法中的交叉操作包括：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。


6.根据权利要求1所述的方法，其中，对交叉后第一离散型超参数组合进行遗传算法中的变异操作包括：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。


7.根据权利要求1或2所述的方法，其中，所述训练样本和测试样本与网络平台中的以下任一对象相关：用户、商户、商品、交易。


8.一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述装置包括：

【专利技术属性】
技术研发人员：李盟，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33